大数据集群环境准备

大数据集群准备步骤

1 准备三台服务器出来 配置主机名，主机和ip对应关系 node01 node02 node03 2 关闭三台服务器防火墙 设置开机不自启动 3 关闭三台服务器selinux 设置disabled 4 给三台服务器安装jdk1.8 安装目录为/export/servers 5 设置三台服务器免密码登录 6 上传编译好的hadoop压缩包到主节点的/export/soft目录下面 执行压缩到/export/servers目录下 先更改一下包名 mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0- cdh5.14.0.tar.gz 压缩命令 tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C …/servers/ 7 查看 hadoop支持的压缩方式以及本地库 主节点在/export/servers/hadoop-2.6.0-cdh5.14.0目录下执行以下命令 bin/hadoop checknative

执行下面命令进行安装openssl yum -y install openssl-devel

8 修改hadoop核心配置 文件 执行 cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 切换目录

执行命令修改配置文件 vim core-site.xml fs.defaultFS hdfs://node01:8020 hadoop.tmp.dir /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas io.file.buffer.size 4096

<!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 --> <property> <name>fs.trash.interval</name> <value>10080</value> </property>

修改hdfs-site.xml vim hdfs-site.xml <!-- 集群动态上下线 dfs.hosts /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host

<property> <name>dfs.hosts.exclude</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value> </property> --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:50090</value> </property> <property> <name>dfs.namenode.http-address</name> <value>node01:50070</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value> </property> <!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property> <name>dfs.datanode.data.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value> </property> <property> <name>dfs.namenode.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> dfs.blocksize 134217728

修改Hadoop-env.sh vim hadoop-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_141

修改mapred-site.xml 此时目录下面没有mapred-site.xml 这个文件 只有mapred-site.xml.template 需要执行 cp mapred-site.xml.template mapred-site.xml 命令 vim mapred-site.xml mapreduce.framework.name yarn

<property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>node01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>node01:19888</value> </property>

修改yarn-site.xml vim yarn-site.xml yarn.resourcemanager.hostname node01 yarn.nodemanager.aux-services mapreduce_shuffle

修改slaves文件 vim slaves 添加节点进去

9 创建一些文件目录 主节点执行 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

10 安装包分发 主节点执行负责 cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWDscp-rhadoop-2.6.0-cdh5.14.0/node03:$PWD

11 配置hadoop环境变量 简便方法 把/etc/profile,.d/下面的java.sh 拷贝一份更改为hadoop.sh 更改一下里面配置路径即可 配置完毕执行 source/etc/profile 12 集群启动 第一次启动需要在主节点格式化 集群 bin/hdfs namenode -format 一键启动所有集群 sbin/start-all.sh 在主节点输入jps

出现此图代表启动成功 去从节点jps 此图代表成功

hdfs集群访问地址： http://192.168.52.100:50070/dfshealth.html#tab-overview

yarn集群访问地址： http://192.168.52.100:8088/cluster