hadoop-2.9.2伪分布式安装

hadoop和jdk下载配置环境变量配置Hadoop中相应的文件hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml 启动hadoop验证hadoop连接

hadoop和jdk下载

1.下载 jdk

[root@localhost /]# yum install -y java-1.8.0-openjdk-devel.x86_64

2.下载hadoop (2.9.2)

[root@localhost /]# Wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

3.解压文件

[root@localhost /]# tar -xvf hadoop-2.9.2.tar.gz

配置环境变量

[root@localhost /]# vi ~/.bashrc

HADOOP_INSTALL选择你所解压的hadoop-2.9.2文件夹所在目录 JAVA_HOME选择jdk所安装的目录 ：wq 保存退出

配置Hadoop中相应的文件

所需文件均在在hadoop-2.9.2/etc/hadoop中

hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_65

core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost(主机名,可改):9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录,可自定义 --> <property> <name>hadoop.tmp.dir</name> <value>file:/home/leesf/program/hadoop/tmp</value> </property>

hdfs-site.xml

<configuration> <!-- 指定HDFS副本的数量 --> 　　　　　　<property> 　　　　　　　　<name>dfs.replication</name> 　　　　　　　　<value>1</value> 　　　　　　</property> 　　　　　　<property> 　　　　　　　　<name>dfs.namenode.name.dir</name> 　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/name</value> 　　　　　　</property> 　　　　　　<property> 　　　　　　　　<name>dfs.datanode.data.dir</name> 　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/data</value> 　　　　　　</property> </configuration>

其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。

补充，如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop.env.sh里面，具体如下：

export JAVA_HOME="/home/leesf/program/java/jdk1.8.0_60"

mapred-site.xml

<!-- 指定mapreduce运行在yarn（资源调度集群）上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost（主机名）</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

启动hadoop

1.在hadop-2.9.2目录下使用如下命令： 　　　 格式化namenode（是对namenode进行初始化）

[root@localhost hadoop-2.9.2]#　bin/hdfs namenode -format

2.启动HDFS

[root@localhost hadoop-2.9.2]# sbin/start-dfs.sh

3.启动YARN

[root@localhost hadoop-2.9.2]# sbin/start-yarn.sh

4.查看进程信息

[root@localhost hadoop-2.9.2]# jps 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode

不包括jps应该有5个进程

验证hadoop连接

连接网页成功，则安装成功： http://localhost:50070 （HDFS管理界面） http://localhost:8088 （MR管理界面）