（图片来源于网络，侵删）

---

一、准备工作

1.三台节点 node01 、node02、node03 2.hadoop版本：hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz 3.节点配置分布如下

二、配置JDK、Hadoop

在三台节点上配置好JDK、Hadoop环境变量并重新加载profile文件

三、配置免密钥

在node01配置免密钥，使得node01可以免密钥登录node01、node02、node03

四、在node01节点配置Hadoop

1.修改 hadoop-env.sh

cd $HADOOP_HOME cd etc/hadoop vim hadoop-env.sh 按照下图修改JDK绝对路径

2.修改hdfs-site.xml 在configuration中添加如下配置，主机名自行修改

-----------------------------------配置文件内容开始---------------------------------------

<!-- 集群动态上下线 <property> <name>dfs.hosts</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value> </property> <property> <name>dfs.hosts.exclude</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value> </property> --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:50090</value> </property> <property> <name>dfs.namenode.http-address</name> <value>node01:50070</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value> </property> <!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property> <name>dfs.datanode.data.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value> </property> <property> <name>dfs.namenode.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.blocksize</name> <value>134217728</value> </property>

-----------------------------------配置文件内容结束---------------------------------------

3.修改core-site.xml 在configuration中添加如下配置，主机名自行修改 -----------------------------------配置文件内容开始---------------------------------------

<property> <name>fs.defaultFS</name> <value>hdfs://node01:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value> </property> <!-- 缓冲区大小，实际工作中根据服务器性能动态调整 --> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 --> <property> <name>fs.trash.interval</name> <value>10080</value> </property>

-----------------------------------配置文件内容结束---------------------------------------

4.修改slaves文件，配置datenode启动的节点

5.拷贝mapred-site.xml.template 改名为 marpred-site.xml ，然后 vim marpred-site.xml ，添加如下配置 -----------------------------------配置文件内容开始---------------------------------------

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>node01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>node01:19888</value> </property>

-----------------------------------配置文件内容结束---------------------------------------

6.vim yarn-site.xml 根据自己节点名称添加如下配置

-----------------------------------配置文件内容开始---------------------------------------

<property> <name>yarn.resourcemanager.hostname</name> <value>node01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

-----------------------------------配置文件内容结束---------------------------------------

7.将hadoop从node01节点拷贝到其他2台节点上

五、部署

1.在node01格式化 hdfs namenode -format

2. 查看结果，successful表示成功

3.启动hdfs！！！ start-dfs.sh

4.使用jps查看是否启动成功/或使用 主机名:50070 查看web界面，active表示启动成功！！！

5.启动yarn！！！ start-yarn.sh

6.在node03和node04手动启动resourcemanager yarn-daemon.sh start resourcemanager

7.使用jps查看启动的进程 8.在网址输入node03:8088进入yarn web界面，能看到则表示启动成功！

都看到这里了，点赞评论一下吧！！！