Hadoop + Zookeeper + HBase 配置错误攻略集

mac2026-04-17  0

以下不包括详细部署步骤,只有部分关键步骤作为检查错误的点

仅供参考:

 

1. Hadoop和 HBase的版本兼容问题:

    官网地址:http://hbase.apache.org/book.html#java

 

如果版本不一致  哈哈哈......  后面你会自闭的!

 

2. 配置环境变量:    执行,命令:

 

vi /etc/profile

#zookeeper export ZOOKEEPER_INSTALL=/root/zookeeper/            -- 安装目录 export PATH=$PATH:$ZOOKEEPER_INSTALL/bin

#Hbase export HBASE_HOME=/root/hbase                                  -- 安装目录 export PATH=$PATH:$HBASE_HOME/bin

#hadoop export HADOOP_HOME=/root/hadoop                             -- 安装目录 export PATH=$PATH:$HADOOP_HOME/bin:/$HADOOP_HOME/sbin [root@dyhadoop]# 

 

 

2. Hadoop的核心集群配置:   

   

执行 vi hdfs-site.xml

 

 

上图涉及到了几个关键的配置项:

namenode 和 datanode 的文件存放路径:

(namenode 和 datanode 的执行文件  - 我是在  cd  /opt  文件夹下面

创建的 hadoop 文件  mkdir hadoop 

cd /hadoop

mkdir data  从节点文件  - -  启动hadoop后 - 生成 current文件夹内 VESION 信息  

mkdir name  主节点文件  )

 

 

!  ! !  !!!  hadoop  namenode  -format 每次重启 Hadoop集群 

 都会初始化一次   /opt/hadoop/name/current/   中的VERSION 文件

此时需要 将子节点的(其他从节点 的服务器 中的   /opt/hadoop/data/current/ 中的 VERSION文件中的

clustomerID 改为 namenode中  /opt/hadoop/name/current/  的 VERSION文件的 clustomerID 值,

保证datanode的 clustomerID 一直等于 namenode的 clustomerID 值 )

 

 

不然你就会发现  你的  datanode 可能一直启动不起来,,,,,,,,,,,,,,,

 

异常: 

1. 只启动了 Master 服务  zookeeper logs 文件报异常

    java.lang.IllegalArgumentException: myid file is missing    (未找到 myid 文件)

 

解决: 

       zookeeper的 data 文件夹下 创建 myid 文件   (此处的 data 文件 在 conf文件夹下 zoo.cfg文件中 指定 dataDir 路径 - 需要自己创建该文件夹)

         cd  /root/zookeeper/data 

          echo 1 > myid   

 

2.    zoo.cfg中的server需要写成以下形式的:

    假如有两台机器,192.168.1.1和192.168.1.2,它们的myid分别是1和2;

    192.168.1.1的zoo.cfg(其它属性的配置还按照原有的配置):

    server.1=0.0.0.0:2888:3888

    server.2=192.168.1.2:2888:3888

 

    192.168.1.2的zoo.cfg(其它属性的配置还按照原有的配置):

    server.1=192.168.1.1:2888:3888

    server.2=0.0.0.0:2888:3888

详细参考: https://blog.csdn.net/zzf1510711060/article/details/82952156

 

3. 关于Hadoop集群后不能通过master:50030访问web界面

   浏览器界面使用节点名称+端口访问  如:   master:50030   node1:8042   等等  

  需要修改本地文件的 hosts文件 

 

4. HBase集群 服务器时间不同步:

     执行:矫正时间

sudo yum install -y ntpdate sudo ntpdate -u ntp.api.bz

 

5. SSH的连接问题 (这个是真烦人的那种)

   写个生成一个公钥吧 - 这样连接其他服务器时就不用再多次登录密码了!!!

   https://blog.csdn.net/wz_TXWY/article/details/89678017

(比如 在 208 的服务器上 -  连接子节点 210 /207  时 老是要输入密码,

   把208生成的公钥 pub 文件 放到 208 / 210 服务器的   .ssh  路径下  授权一下  600 权限等   就可以免密码连接登录了 )

 

 

6. 在配置集群的时候,你会用到以下常见指令;

01. Zookeeper的启动:    zkServer.sh start    启动    zkServer.sh stop    停止服务    zkServer.sh status  启动状态

02.Hadoop服务启动:      hadoop  namenode  -format     start-dfs.sh start        - 重启 datanode namenode     start-yarn.sh start    ./mr-jobhistory-daemon.sh   start historyserver 启动历史记录服务

    start-all.sh  启动 Hadoop

    stop-all.sh   关闭 hadoop

03.HBase服务启动:          start-hbase.sh start    启动    stop-hbase.sh

更新集群时间戳     sudo ntpdate pool.ntp.org  

1. 安装防火墙关闭服务插件:          yum install iptables-services

2. 暂时关闭防火墙        systemctl stop firewalld        service  iptables stop   

最新回复(0)