安装环境服务部署规划 2013年说大数据只包括HDFS，MapReduce，2019年说大数据包括HDFS，YARN，MapReduce
虚拟机联网，关闭防火墙，关闭selinux，克隆两台不同端口号的虚拟机，更改主机名，ssh免密登录
查看当前防火墙状态:service iptables status 关闭防火墙：service iptables stop 开机不自启永久关闭：chkconfig iptables off 关闭selinux：vim /etc/selinux/config
扩展知识点（为什么要关闭selinux） 一般安装linux课程时都把selinux与iptables安排在后面，使初学者配置linux服务器时不成功，却没有头绪，那是因为在RedHat linux操作系统中默认开启了防火墙，selinux 也处于启动状态，一般状态为enforing。导致服务器端口默认是关闭的，导致httpd无法启动，连ping也ping不通/建议初学者在未学到selinux与iptables之前，配置服务器把这两项都关掉。
将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压 第一台机器（主节点）执行以下命令
cd export/softwares/ (如果没有该路径就在根目录创建多级文件夹) mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz （这里重命名） vim /etc/selinux/config(关闭selinux)第一台机器(主节点)执行以下命令
cd export/servers/hadoop-2.6.0-cdh5.14.0/bin/（先进入bin目录验证hadoop支持哪些算法）hadoop checknative （在执行命令） 2. 如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了 yum -y install openssl-devel（安装完在看下hadoop checknative false是否改变为true）
第一台机器（主节点）执行以下命令
vim /etc/profile.d/hadoop.sh（配置hadoop环境变量） 修改之后立即生效 source /etc/profile
修改core-site.xml（注意主机名和解压路径的位置）cd export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ vim core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node01:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value> </property> <!-- 缓冲区大小，实际工作中根据服务器性能动态调整 --> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 --> <property> <name>fs.trash.interval</name> <value>10080</value> </property> </configuration>2.修改hdfs-site.xml（注意主机名和解压路径的位置）
vim hdfs-site.xml
<configuration> <!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <!-- 集群动态上下线 <property> <name>dfs.hosts</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value> </property> <property> <name>dfs.hosts.exclude</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value> </property> --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:50090</value> </property> <property> <name>dfs.namenode.http-address</name> <value>node01:50070</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value> </property> <!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property> <name>dfs.datanode.data.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value> </property> <property> <name>dfs.namenode.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> </configuration>3.修改Hadoop-env.sh
vim hadoop-env.sh （这里改成自己的jdk安装位置） 4.修改mapred-site.xml
vim mapred-site.xml（注意主机名）
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>node01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>node01:19888</value> </property> </configuration>5.修改yarn-site.xml
vim yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>node01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 修改slaves文件(改成自己的主机名)vim slaves （表示自己的小弟或工作者都有那些）
第一台机器执行以下命令 node01机器上面创建以下目录
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
cd export/servers/（返回根目录注意主机名）
要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。 注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。
bin/hdfs namenode -format （要在 cd export/servers/hadoop-2.6.0-cdh5.14.0/ 启动才有效） 如果和图中不一致说明启动失败，配置出错
一键启动集群 sbin/start-all.sh 一键关闭集群（没事儿不要去停止集群） sbin/stop-all.sh 查看集群是否搭建成功(改成自己的端口号) http://192.168.100.202:50070/dfshealth.html#tab-overview
