Hadoop集群(一) 环境准备

作为Hadoop初学者，自然要从安装入手。而hadoop的优势就是分布式，所以，也一定要安装分布式的系统。

整体安装步骤，包括Zookeeper+HDFS+Hbase，为了文章简洁，我会分三篇blog记录我的安装步骤。

本文记录的是集群环境准备，zookeeper的安装步骤。

安装包下载地址 

链接：https://pan.baidu.com/s/1RyAsomB4gLkPiPxX9rdjOA     提取码：mkpx 

 

部署规划（准备了三个虚拟机，操作系统是Centos7.2）

Zookeeper主机分配

192.168.67.101 zkh01 192.168.67.102 zkh02 192.168.67.103 zkh03

HDFS主机分配

192.168.67.101 zkh01 --Namenode+datanode 192.168.67.102 zkh02 --standbynamenode+datanode 192.168.67.103 zkh03 --datanode

Hbase主机分配

192.168.67.101 zkh01 --Master + region 192.168.67.102 zkh02 --region 192.168.67.103 zkh03 --region

1. 为了分别管理各个服务，建议生产环境创建普通用户来运行项目.

useradd hadoop

2. 为每一个用户创建ssh免密,并分发到全部节点，这样，我就只在zkh01上执行命令，通过远程的方式安装zkh02和zkh03

ssh-keygen -t rsa -f ~/.ssh/id_rsa

拷贝密钥到全部节点即可（只有zkh01访问02和03不需要密码，反向访问是需要密码的）

ssh-copy-id -i zkh01 ssh-copy-id -i zkh02 ssh-copy-id -i zkh03

3. 强调一下，所有主机  /etc/hosts 需要设置

[root@c6701 ~]# more /etc/hosts 127.0.0.1 localhost.localdomain localhost 127.0.0.1 localhost4.localdomain4 localhost4 ::1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6 192.168.67.101 zkh01 192.168.67.102 zkh02 192.168.67.103 zkh03

4. 下面在zkh01执行，中间会调用ssh远程执行一些命令,验证ssh免密是否生效

ssh zkh02 "cat /proc/cpuinfo" ssh zkh02 "hostname"

5. 安装JDK，全部节点都要安装

#解压 tar -xzvf jdk-8u11-linux-x64.tar.gz -C /usr/local #添加下面信息到 vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_11 export JRE_HOME=/usr/local/jdk1.8.0_11/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$PATH #使环境变量生效 source /etc/profile

6. 检查版本信息

# java -version java version "1.8.0_11" Java(TM) SE Runtime Environment (build 1.8.0_11-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)

转载于:https://www.cnblogs.com/xiangjun555/articles/10276776.html