一、hadoop环境搭建：
1. hadoop 6个核心配置文件的作用：core-site.xml：核心配置文件，主要定义了我们文件访问的格式 hdfs://hadoop-env.sh：主要配置我们的java路径hdfs-site.xml：主要定义配置我们的hdfs的相关配置mapred-site.xml 主要定义我们的mapreduce相关的一些配置slaves：控制我们的从节点在哪里，datanode nodemanager在哪些机器上yarn-site.xml：配置我们的resourcemanager资源调度
二、hadoop启动：
前提：完全分布式环境下：
192.168.1.100
192.168.1.110
192.168.1.120
zookeeper
zk
zk
zk
HDFS
JournalNode
JournalNode
JournalNode
NameNode
NameNode
ZKFC
ZKFC
DataNode
DataNode
DataNode
YARN
ResourceManager
ResourceManager
NodeManager
NodeManager
NodeManager
MapReduce
JobHistoryServer
1.三台机器上都执行该命令，启动zk：zkServer.sh start
2.启动HDFS过程
node01上执行：
cd /export/servers/hadoop-2.7.5
bin/hdfs zkfc -formatZK
sbin/hadoop-daemons.sh start journalnode
bin/hdfs namenode -format
bin/hdfs namenode -initializeSharedEdits -force
sbin/start-dfs.sh
node02上面执行：
cd /export/servers/hadoop-2.7.5
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
3.启动yarn过程
node03上面执行：
cd /export/servers/hadoop-2.7.5
sbin/start-yarn.sh
node02上执行：
cd /export/servers/hadoop-2.7.5
sbin/start-yarn.sh
查看resourceManager状态
node03上面执行
cd /export/servers/hadoop-2.7.5
bin/yarn rmadmin -getServiceState rm1
node02上面执行：
cd /export/servers/hadoop-2.7.5
bin/yarn rmadmin -getServiceState rm2
node03启动jobHistory
node03机器执行以下命令启动jobHistory
cd /export/servers/hadoop-2.7.5
sbin/mr-jobhistory-daemon.sh start historyserver
停止hadoop
cd /export/servers/hadoop-2.7.5
sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/hadoop-daemon.sh stop journalnode
注意：
1.bin/hdfs namenode -format该命令仅执行一次，以后尽量不要执行，因为一执行，则所有数据都丢失！
2.hadoop完全分布式环境下，hadoop启动前，必须在三台机器上都启动ZK。
3.sbin/hadoop-daemons.sh [ start | stop ] journalnode 一次同时启动/停止所有机器，sbin/hadoop-daemon.sh [ start | stop ] journalnode 一次只能启动/停止一台机器（当前机器）
三、hadoop管理界面查看：
http://192.168.52.100:50070/dfshealth.html#tab-overview 查看hdfs
http://node01:8088/cluster 查看yarn集群http://node01:19888/jobhistory 查看历史完成的任务
转载于:https://www.cnblogs.com/mediocreWorld/p/10940357.html
相关资源：JAVA上百实例源码以及开源项目