2. it
  3. Hadoop安装、集群搭建

Hadoop安装、集群搭建

mac2024-07-01  88

 

目录

准备工作

1、同步时间

2、 关闭selinux

3、设置主机名

4、配置ip、主机名映射关系

5、配置ssh免密登录

6、配置防火墙：

7、jdk环境安装

8、CDH 分布式环境搭建

#修改配置文件（均在 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下）

#配置Hadoop的环境变量

集群启动

准备工作

1、同步时间

#手动同步集群个机器时间

    date -s  "2010-10-10 10"10:10"

    yum install ntpdate

#网络同步时间

    ntpdate ntp4.aliyun.com

2、 关闭selinux

    vi /etc/selinux/config

3、设置主机名

    vi /etc/sysconfig/network

    NETWORKING=yes     HOSTNAME=node01

4、配置ip、主机名映射关系

    vi /etc/hosts

    192.168.100.111 node01     192.168.100.112 node02     192.168.100.113 node03

5、配置ssh免密登录

#生成ssh免登录密钥:

    ssh-keygen -t rsa (四个回车)

    执行完这个命令后 会生成id_rsa (私钥)、id_rsa.pub (公钥)

#将公钥拷贝到要免密登录的目标机器上:

    ssh-copy-id node01

6、配置防火墙：

#查看防火墙状态：

    service iptables status

#关闭防火墙

    service iptables stop

#查看开机启动防火墙状态：

    chkconfig iptables --list

#关闭开机启动防火墙：

    chkconfig iptables off

centos7/centos8请使用  service firewalld status/stop/start

chkconfig firewalld off

7、jdk环境安装

#上传jdk安装包

    jkd1.8.0_144

#解压安装包

    tar zxvf jkd1.8.0_144-C /export/servers

#配置环境变量 /etc/profile.d/java.sh

    export JAVA_HOME=/export/servers/jdk1.8.0_144     export PATH=$PATH:$JAVA_HOME/bin

#更改版本指向

    rm -rf /etc/alternatives/java

    ln -s /export/servers/jdk1.8.0_144/bin/java /etc/alternatives/java

#刷新配置

    source /etc/profile

#jps测试是否配置成功

    

8、CDH 分布式环境搭建

#上传压缩包并解压

    解压  hadoop-2.6.0-cdh5.14.0-编译后的版本.tar.gz

    tar /export/soft/hadoop-2.6.0-cdh5.14.0.tar.gz -C /export/servers

#查看Hadoop支持的压缩方式以及本地库

    cd /export/servers/hadoop-2.6.0-cdh5.14.0

    bin/hadoop checknative

    如果出现openssl为false，那么所有机器联网在线安装openssl即可

    yum -y install openssl-devel

#修改配置文件（均在 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下）

    Hadoop 安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp下发给其他节点机器

8.1、 core-site.xml

    vi core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node01:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value> </property> <!-- 缓冲区大小，实际工作中根据服务器性能动态调整 --> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 --> <property> <name>fs.trash.interval</name> <value>10080</value> </property> </configuration>

8.2、 hdfs-site.xml

    vi hdfs-site.xml

<configuration> <!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <!-- 集群动态上下线 <property> <name>dfs.hosts</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value> </property> <property> <name>dfs.hosts.exclude</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value> </property> --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:50090</value> </property> <property> <name>dfs.namenode.http-address</name> <value>node01:50070</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value> </property> <!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property> <name>dfs.datanode.data.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value> </property> <property> <name>dfs.namenode.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> </configuration>

8.3、 修改hadoop-env.sh文件 将原来的JAVA_HOME写死

    vi hadoop-env.sh

    （配置JAVA_HOME环境变量的话，不改也可以）

export JAVA_HOME=/export/servers/jdk1.8.0_144

 

8.4、 mapred-site.xml

    mv mapred-site.xml.template mapred-site.xml

    vi mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <!-- mapreduce jobhistor配置任务提交的日志 --> <property> <name>mapreduce.jobhistory.address</name> <value>node01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>node01:19888</value> </property> </configuration>

8.5、 yarn-site.xml

    vi yarn-site.xml

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>node01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

8.6、 修改slaves文件

    里边写上从节点所在的主机名字

    vi slaves

node01 node02 node03

 

#配置Hadoop的环境变量

    vi /etc/profile.d/hadoop.sh

export JAVA_HOME=/export/servers/jdk1.8.0_144 export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   #创建文件存放目录

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

#安装包和环境变量的分发

  依次执行以下命令

    scp -r /export/servers/hadoop-2.6.0-cdh5.14.0 node02:/export/servers/hadoop-2.6.0-cdh5.14.0

    scp -r /export/servers/hadoop-2.6.0-cdh5.14.0 node03:/export/servers/hadoop-2.6.0-cdh5.14.0

    scp /etc/profile.d/hadoop.sh node02:/etc/profile.d

    scp /etc/profile.d/hadoop.sh node03:/etc/profile.d

#主从节点都刷新配置

    source /etc/profile

#格式化namenode（本质是对namenode进行初始化）

    cd /export/servers/hadoop-2.6.0-cdh5.14.0

    bin/hdfs namenode  -format或者bin/Hadoop namenode –format

集群启动

#单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode： Hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode： Hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager： yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager： yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下以上脚本位于$HADOOP_HOME/sbin/目录下

需要先cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin

<-- 启动hdfs --> sbin/start-dfs.sh <-- 启动yarn --> sbin/start-yarn.sh <-- 全部启动(前提配置了 etc/hadoop/slaves和ssh免密登录) --> sbin/start-all.sh

验证是否启动成功

[root@node01 ~]# jps 6160 SecondaryNameNode 5872 NameNode 6002 DataNode 6307 ResourceManager 6405 NodeManager 9127 Jps [root@node01 ~]#

验证集群是否可用

到集群上创建一个文件夹或文件

    只要能够创建文件夹或文件表示集群可用

查看HDFS的web界面

    192.168.100.131.50070

查看yarn的web界面

    192.168.100.131.8088

 

最新回复(0)