以下不包括详细部署步骤,只有部分关键步骤作为检查错误的点
仅供参考:
1. Hadoop和 HBase的版本兼容问题:
官网地址:http://hbase.apache.org/book.html#java
如果版本不一致 哈哈哈...... 后面你会自闭的!
2. 配置环境变量: 执行,命令:
vi /etc/profile
#zookeeper export ZOOKEEPER_INSTALL=/root/zookeeper/ -- 安装目录 export PATH=$PATH:$ZOOKEEPER_INSTALL/bin
#Hbase export HBASE_HOME=/root/hbase -- 安装目录 export PATH=$PATH:$HBASE_HOME/bin
#hadoop export HADOOP_HOME=/root/hadoop -- 安装目录 export PATH=$PATH:$HADOOP_HOME/bin:/$HADOOP_HOME/sbin [root@dyhadoop]#
2. Hadoop的核心集群配置:
执行 vi hdfs-site.xml
上图涉及到了几个关键的配置项:
namenode 和 datanode 的文件存放路径:
(namenode 和 datanode 的执行文件 - 我是在 cd /opt 文件夹下面
创建的 hadoop 文件 mkdir hadoop
cd /hadoop
mkdir data 从节点文件 - - 启动hadoop后 - 生成 current文件夹内 VESION 信息
mkdir name 主节点文件 )
! ! ! !!! hadoop namenode -format 每次重启 Hadoop集群
都会初始化一次 /opt/hadoop/name/current/ 中的VERSION 文件
此时需要 将子节点的(其他从节点 的服务器 中的 /opt/hadoop/data/current/ 中的 VERSION文件中的
clustomerID 改为 namenode中 /opt/hadoop/name/current/ 的 VERSION文件的 clustomerID 值,
保证datanode的 clustomerID 一直等于 namenode的 clustomerID 值 )
不然你就会发现 你的 datanode 可能一直启动不起来,,,,,,,,,,,,,,,
异常:
1. 只启动了 Master 服务 zookeeper logs 文件报异常
java.lang.IllegalArgumentException: myid file is missing (未找到 myid 文件)
解决:
zookeeper的 data 文件夹下 创建 myid 文件 (此处的 data 文件 在 conf文件夹下 zoo.cfg文件中 指定 dataDir 路径 - 需要自己创建该文件夹)
cd /root/zookeeper/data
echo 1 > myid
2. zoo.cfg中的server需要写成以下形式的:
假如有两台机器,192.168.1.1和192.168.1.2,它们的myid分别是1和2;
192.168.1.1的zoo.cfg(其它属性的配置还按照原有的配置):
server.1=0.0.0.0:2888:3888
server.2=192.168.1.2:2888:3888
192.168.1.2的zoo.cfg(其它属性的配置还按照原有的配置):
server.1=192.168.1.1:2888:3888
server.2=0.0.0.0:2888:3888
详细参考: https://blog.csdn.net/zzf1510711060/article/details/82952156
3. 关于Hadoop集群后不能通过master:50030访问web界面
浏览器界面使用节点名称+端口访问 如: master:50030 node1:8042 等等
需要修改本地文件的 hosts文件
4. HBase集群 服务器时间不同步:
执行:矫正时间
sudo yum install -y ntpdate sudo ntpdate -u ntp.api.bz
5. SSH的连接问题 (这个是真烦人的那种)
写个生成一个公钥吧 - 这样连接其他服务器时就不用再多次登录密码了!!!
https://blog.csdn.net/wz_TXWY/article/details/89678017
(比如 在 208 的服务器上 - 连接子节点 210 /207 时 老是要输入密码,
把208生成的公钥 pub 文件 放到 208 / 210 服务器的 .ssh 路径下 授权一下 600 权限等 就可以免密码连接登录了 )
6. 在配置集群的时候,你会用到以下常见指令;
01. Zookeeper的启动: zkServer.sh start 启动 zkServer.sh stop 停止服务 zkServer.sh status 启动状态
02.Hadoop服务启动: hadoop namenode -format start-dfs.sh start - 重启 datanode namenode start-yarn.sh start ./mr-jobhistory-daemon.sh start historyserver 启动历史记录服务
start-all.sh 启动 Hadoop
stop-all.sh 关闭 hadoop
03.HBase服务启动: start-hbase.sh start 启动 stop-hbase.sh
更新集群时间戳 sudo ntpdate pool.ntp.org
1. 安装防火墙关闭服务插件: yum install iptables-services
2. 暂时关闭防火墙 systemctl stop firewalld service iptables stop
