安装Hadoop具体实现操作（Hadoop运行环境的搭建）

今天关于安装hadoop一些具体的操作步骤，这是个人看法和想法，大佬勿喷 ##我的Hadoop安装的是CDH编译好的所以我的没有编译是直接安装直接配置

Hadoop环境搭建：（从静态IP配置好开始，每个节点） 1.JDK 1.8 2 、远程ssh无密码登录（主到从） 3、 防火墙关闭 4、 selinux关闭 5、 修改主机名 6、 主机名和IP对应 ##JDK配置环境所需要的：（etc/profile.d/java.sh） ##export JAVA_HOME=/servces/install/JDK版本 export PATH=$PATH:$JAVA_HOME/bin: 让修改生效：source /etc/profile 再检查JDK版本是否是1.8的改为1.8 怎么改我上个博客应该写了 **hadoop安装部署 **

1、 上传解压 2、 配置hadoop的环境变量 (先配置第一个后面的那两个scp发送以后再配置一摸一样的)

3、检查支持哪些库或包 进入hadoop安装目录的bin里面执行以下命令 ./hadoop checknative yum -y install openssl-devel 4、** 修改hadoop的核心配置文件**

{}大括号是我区分用的复制的时候看着点，然后一定要注意里面配置文件的一些节点的名字是否和你的相同。比如node01/还有 /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas里面的地址“hadoopdatas后面会创建”。

Vim ore-site.xml: { fs.defaultFS hdfs://node01:8020 hadoop.tmp.dir /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas io.file.buffer.size 4096

<!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 --> <property> <name>fs.trash.interval</name> <value>10080</value> </property> }

Vim hdfs-site.xml { <!-- 集群动态上下线 dfs.hosts /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host

<property> <name>dfs.hosts.exclude</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value> </property> --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:50090</value> </property> <property> <name>dfs.namenode.http-address</name> <value>node01:50070</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value> </property> <!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property> <name>dfs.datanode.data.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value> </property> <property> <name>dfs.namenode.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> dfs.blocksize 134217728 }

Vim Hadoop-env.sh(这个里面修改的是export JAVA_HOME里面的内容JDK路径)

Vim mapred-site.xml: { mapreduce.framework.name yarn

<property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>node01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>node01:19888</value> </property>

} Vim yarn-site.xml{ 这个文件本来是xml.tmp什么一个临时文件，你要把那个临时文件改为xml文件然后更改 yarn.resourcemanager.hostname node01 yarn.nodemanager.aux-services mapreduce_shuffle

}

最后修改slaves文件里面改为每个节点的名字 其他节点分发 创建文件存放目录 然后把servers里面的Hadoop分发到两个从节点上 Scp -r servers /node02:$PWDScp-rservers/node03:$PWD

格式化集群 在集群安装目录的bin内部执行一下命令进行格式化 hdfs namenode -format 集群启动在集群安装目录的sbin内部执行一下命令进行启动 == ./start-all.sh== 在这里插入图片描述