大数据集群安装部署教程

大数据集群安装部署

准备工作 1.关闭防火墙service iptables stop chkconfig iptables off 2.关闭selinux vim /etc/selinux/config 3.修改主机名 vim /etc/sysconfig/network 4.ssh无密码拷贝数据

ssh-keygen ssh-copy-id 192.168.100.201 ssh-copy-id 192.168.100.202（其他节点ip） ssh-copy-id 192.168.100.203（其他节点ip）

5.设置主机名和ip对应 vi /etc/hosts

以上是装集群前的准备工作没有上面5点大数据集群是跑不了的

大数据集群安装部署

1、大数据安装包上传解压 要将hadoop解压到和jdk相同的目录下 2、配置hadoop环境变量

新建文件/etc/profifile.d/hadoop.sh，编译一下内容分export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=$PATH:$HADOOP_HOME/bin HADOOP_HOME后面是解压后的绝对路径

3、修改hadoop系统配置文件 core-site.xml Hadoop的核心配置文件 hdfs-site.xml 存储组件的核心配置文件 mapred-site.xml 计算组件的核心配置文件 yarn-site.xml 资源调度的核心配置文件

修改core-site.xml第一台机器执行以下命令 1.cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 2.vim core-site.xml fs.defaultFS hdfs://node01:8020 hadoop.tmp.dir /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas io.file.buffer.size 4096 fs.trash.interval 10080

修改hdfs-site.xml第一台机器执行以下命令 1.cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 2.vim hdfs-site.xml dfs.namenode.secondary.http-address node01:50090 dfs.namenode.http-address node01:50070 dfs.namenode.name.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas dfs.datanode.data.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas dfs.namenode.edits.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits dfs.namenode.checkpoint.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name dfs.namenode.checkpoint.edits.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits dfs.replication 2 dfs.permissions false dfs.blocksize 134217728

修改Hadoop-env.sh第一台机器执行以下命令 1.cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 2.vim hadoop-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_141

修改mapred-site.xml第一台机器执行以下命令 1.cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 2.vim mapred-site.xml mapreduce.framework.name yarn mapreduce.job.ubertask.enable true mapreduce.jobhistory.address node01:10020 mapreduce.jobhistory.webapp.address node01:19888

修改yarn-site.xml第一台机器执行以下命令 1.cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 2.vim yarn-site.xml yarn.resourcemanager.hostname node01 yarn.nodemanager.aux-services mapreduce_shuffle

修改slaves文件第一台机器执行以下命令 1.cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 2.vim slaves node01 node02 node03

第一台机器执行以下命令node01机器上面创建以下目录 mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

第一台机器执行以下命令 cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD（将修改好的配置文件拷贝到其他节点）scp-rhadoop-2.6.0-cdh5.14.0/node03:$PWD （将修改好的配置文件拷贝到其他节点）

三台机器都要进行配置Hadoop的环境变量三台机器执行以下命令 vim /etc/profile.d/hadoop.sh export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0export PATH=:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效 刷新：source /etc/profile

集群启动 要在cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop下的bin目录执行下面的代码 bin/hdfs namenode -format

脚本一键启动HDFS，Yarn node01节点上执行以下命令第一台机器执行以下命令 cd /export/servers/hadoop-2.6.0-cdh5.14.0/ sbin/start-dfs.sh sbin/start-yarn.sh 停止集群：没事儿不要去停止集群 sbin/stop-dfs.sh sbin/stop-yarn.sh

脚本一键启动所有 一键启动集群sbin/start-all.sh 一键关闭集群sbin/stop-all.sh

第八步：浏览器查看启动页面hdfs集群访问地址： http://192.168.52.100:50070/dfshealth.html#tab-overview