目录

1. 环境版本

2.安装步骤

2.1 安装 JDK

2.2 在 hosts 文件构建映射关系

2.3 解压 Hadoop

2.4 修改 hadoop-env.sh

2.5 修改 core-site.xml

2.6 修改 hdfs-site.xml

2.7 修改 mapred-site.xml

2.8 修改 yarn-site.xml

3.启动服务

3.1 格式化 NameNode

3.2 启动 NameNode

3.3 启动 DataNode

3.4 启动 YARN

4.验证

5.参考链接

---

在上一篇文章中介绍了需求背景以及需要实现的功能，这篇文章主要是为进行下一步对 Hive Parser 流程分析做环境准备，以方便的进行代码跟踪以及问题复现，主要包括如下几个步骤：

虚拟机下 Hadoop 伪分布式环境安装

 

1. 环境版本

Hadoop 版本：hadoop-2.6.0-cdh5.12.1VMWare 版本：VMware-workstation-full-15.5.0-14665864虚拟机镜像版本：ubuntu-18.04.1-desktop-amd64.isoJDK 版本：jdk-8u131-linux-x64

 

VMWare 版本升级到 15.5.0 版本，下载地址为： https://www.nocmd.com/740.htmlUbuntu 18.04 版本，镜像下载地址为： https://ubuntu.com/#downloadHadoop 下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.12.1.tar.gz

 

2.安装步骤

为简单起见，后续安装在 root 用户下进行。

 

2.1 安装 JDK

新建目录：在目录 /usr/lib 下新建 jvm 目录，将 jdk 压缩文件解压至此目录修改配置：修改 ~/.bashrc 文件，新增环境变量（如下代码块）在终端中输入 "source ~/.bashrc" 使配置生效在终端中输入 "echo $PATH" 验证配置是否生效

 

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

 

2.2 在 hosts 文件构建映射关系

127.0.0.1    master

 

2.3 解压 Hadoop

解压 hadoop-2.6.0-cdh5.7.0.tar.gz （tar -zxvf  hadoop-2.6.0-cdh5.7.0.tar.gz）修改解压后 hadoop-2.6.0-cdh5.7.0 目录为 hadoop-2.6.0，并进入到该目录（cd ./hadoop-2.6.0/etc/hadoop）后续配置文件路径都是以此为基础路径。

 

2.4 修改 hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131

 

2.5 修改 core-site.xml

<configuration>         <property>                 <name>fs.default.name</name>                 <value>hdfs://master:8020</value>         </property> </configuration>

 

2.6 修改 hdfs-site.xml

<configuration>         <property>                 <name>dfs.replication</name>                 <value>1</value>         </property>         <property>                 <name>dfs.namenode.name.dir</name>                 <value>/home/tzx/data/dfs/name</value>         </property>         <property>                 <name>dfs.datanode.data.dir</name>                 <value>/home/tzx/data/dfs/data</value>         </property> </configuration>

 

2.7 修改 mapred-site.xml

<configuration>         <property>                 <name>mapreduce.framework.name</name>                 <value>yarn</value>         </property> </configuration>

 

2.8 修改 yarn-site.xml

<configuration>         <property>                 <name>yarn.nodemanager.aux-services</name>                 <value>mapreduce_shuffle</value>         </property> </configuration>

 

3.启动服务

切换到 hadoop-2.6.0 根目录，所有命令都是基于此路径执行

 

3.1 格式化 NameNode

bin/hdfs namenode -format

 

3.2 启动 NameNode

sbin/hadoop-daemon.sh start namenode

 

3.3 启动 DataNode

sbin/hadoop-daemon.sh start datanode

 

3.4 启动 YARN

ssh-keygen -t rsa -P ""

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sbin/start-yarn.sh

 

4.验证

浏览器访问 http://master:50070浏览器访问 http://master:8088/cluster在终端输入 "jps"，确认产生四个进程 NameNodeDataNodeResourceManagerNodeManager

 

5.参考链接

http://www.voidcn.com/article/p-tkfsbwkq-nb.html