Linux CentOS 大数据集群的基础配置(3) CHD分布式环境搭建

mac2024-06-03 30

在开始之前，确保你具备以下条件： 1，完成了大数据环境基础配置(1) 2，完成了大数据环境基础配置(2) 3，如果你完成了前两项内容，那么现在你应该拥有这个文件。 4，你现在配置好了3台虚拟主机，主机名和静态ip如下：第1台主机名为hadoop01 静态ip地址为192.168.100.201 第2台主机名为hadoop02 静态ip地址为192.168.100.202 第3台主机名为hadoop03 静态ip地址为192.168.100.203

5，你的hadoop01为局域网yum源，且hadoop02,hadoop03正确配置yum源。 6，三台虚拟机的时钟是同步的。 7，三台虚拟机分别关闭了防火墙，且关闭了selinux服务

如果你具备以上条件，那么你可以继续进行了。

上传并解压制作好的hadoop包

在每个虚拟机都创建两个目录，servers目录装解压的软件，softwares目录装安装包

mkdir -p /export/softwares mkdir -p /export/servers

上传hadoop包到hadoop01的/export/softwares目录下把它解压到刚才创建的servers目录下

tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C /export/servers/

查看Hadoop支持的压缩方式以及本地库

进入解压好的hadoop目录

cd /export/servers/hadoop-2.6.0-cdh5.14.0

输入以下命令

bin/hadoop checknative

如果出现openssl为false，那么所有虚拟机都安装openssl即可

yum -y install openssl-devel

安装完毕后，再次执行命令

bin/hadoop checknative

所有的都是true，ok了。

修改配置文件core-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim core-site.xml

<configuration>新增如下内容：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value> </property>  <property> <name>io.file.buffer.size</name> <value>4096</value> </property>  <property> <name>fs.trash.interval</name> <value>10080</value> </property> </configuration>

保存退出

修改配置文件hdfs-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hdfs-site.xml

<configuration>新增如下内容：

<configuration>   <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop01:50090</value> </property> <property> <name>dfs.namenode.http-address</name> <value>hadoop01:50070</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value> </property>  <property> <name>dfs.datanode.data.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value> </property> <property> <name>dfs.namenode.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> </configuration>

保存退出

修改配置文件hadoop-env.sh

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hadoop-env.sh

找到JAVA_HOME 这里的${JAVA_HOME}可以改为你的jdk绝对路径改完之后，保存退出。

修改配置文件mapred-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml

<configuration>中添加如下内容

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop01:19888</value> </property>

添加完成后，保存退出。

修改配置文件yarn-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim yarn-site.xml

<configuration>中添加如下内容

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

保存退出

修改slaves配置文件

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim slaves

替换为如下内容

hadoop01 hadoop02 hadoop03

保存退出

创建文件存放目录

创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

把配置好的hadoop复制到其它虚拟机上

cd /export/servers/ scp -r hadoop-2.6.0-cdh5.14.0/ hadoop02:$PWD scp -r hadoop-2.6.0-cdh5.14.0/ hadoop03:$PWD

配置环境变量

注意：在每一台虚拟机上都要配置

vim /etc/profile.d/hadoop.sh

输入以下内容：

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出，输入下面的命令，使配置立即生效

source /etc/profile

启动hadoop集群

第一次启动前需要格式化：

hdfs namenode -format

单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode：

hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode：

hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager：

yarn-daemon.sh start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager：

yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

脚本一键启动HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。启动集群 hadoop01节点上执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/ sbin/start-dfs.sh sbin/start-yarn.sh

停止集群：没事儿不要去停止集群

sbin/stop-dfs.sh sbin/stop-yarn.sh

脚本一键启动所有一键启动集群(cd /export/servers/hadoop-2.6.0-cdh5.14.0/ 再执行下面的命令)

sbin/start-all.sh

一键关闭集群

sbin/stop-all.sh

浏览器查看启动页面

浏览器输入以下地址查看集群启动页面

hdfs的访问地址 http://192.168.100.201:50070/dfshealth.html#tab-overview

yarn的访问地址 http://192.168.100.201:8088/cluster

最新回复(0)