hadoop2.x配置及wordcount小运用(单机)

hadoop的环境搭建 1：创建用户hadoop 2：修改hadoop用户的权限命令visudo 添加 hadoop all all 语句； 3：关闭防火墙service iptables stop 4：修改主机名 ： hostname hadoop01 5：映射主机 vim /etc/hosts 加上一条语句格式 ip地址+主机名 192.168.46.128 hadoop01 验证是否成功命令 ping hadoop 如果有反应及成功了

6：创建目录 在opt目录下创建app 和 soft 目录 soft用来存放安装包 app放应用程序的 如下所示：目录的结构

7：jdk的环境配置与安装，这里xshell的连接，详细的介绍有https://blog.csdn.net/weixin_43319279/article/details/101771159 上传文件的软件是xshell5 xshell5的使用方法是安装完成后 配置主机名和IP地址就可以进行连接 在linux中下载yum -y install lrzsz

执行rz命令进行选择传输的win上的文件

8：把jdk-8u181-linux-x64.tar.gz hadoop-1.2.1.tar.gz 两个文件上传到soft中 切换用户 su - hadoop01 通过命令

sudo tar -xf jdk-8u181.tar.gz -C /opt/app

进入opt/app/jdk-1.8.1;pwd一下保存路径 vim /etc/profile加上两条语句

export JAVA_HOME=/opt/app/jdk-1.8.1 export PATH=$JAVA_HOME/bin:$PATH

在重新启动source /etc/profile 输入命令java -version命令查看该配置是否成功；如果输出了jdk的版本说明配置成功了

hadoop的配置及验证

sudo tar -xf hadoop1-2-1.tar.gz -C /opt/app

把 hadoop解压到目录 opt/app中

修改配置

cd /opt/app/hadoop.1-2-1/etc/hadoop

在修改配置之前我们要更改用户组和用户的权限命令

sudo chown -R hadoop：hadoop /opt/app/hadoop1-2.1

1:配置hadoop-env.sh 在#the java implementation to use 加上一条语句

export JAVA_HOME=/opt/app/jdk-1.8.1

即可

2:vim core-site.xml 在加入如下所示

<configuration> <property> <name> fs.defaultFS </name> <value> hdfs://hadoop01:8020：hdfs://主机名：端口号9000：8020</value> </configuration>

3：vim hdfs-site.xml

<configuration> <property> <name> dfs.replication </name> <value> 1 </value> </configuration>

4：vim mapred-site.xml.template

<configuration> <property> <name> mapreduce.framework.name </name> <value> yarn </value> </configuration>

5:vim yarn-site.xml

<configuration> <property> <name> yarn.nodemanager.aux-services </name> <value> mapreduces_shuffle </value> </configuration>

5:设置完成后进行初始化

bin/hadoop namenode -format

6：开启namenode

sbin/hadoop-daemon.sh start namenode

7:开启datanode

sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemager sbin/yarn-daemon.sh start nodemanager

jps看hadoop的服务是否启动起来了。

10:hadoop外部访问网址 ip:50070 ip:8020

11:hadoop的小应用（wordcount）统计文本中单词的次数 vim b.txt

上传

bin/hdfs dfs -put b.txt /b.txt bin/hadoop jar share/hadoop/mapreduece/hadoop-mapreduce-examples-2.7.1.jar wordcount /b.txt /output bin/hdfs dfs -ls /output bin/hdfs dfs -text /output/part*

---

hadoop是一个框架 hadoop生态圈的介绍 1：HDFS：分布式文件存储系统 namenode:存放文件的元数据(元数据是：文件创建的时间，文件的权限，等，，，) datanode:存放文件的真正数据 hdfs中是以块的方式进行存储的，每个块的大小为128mb

2：mapreduce：并行的分布式 map：并行传输数据 reduce：统计每个并行数据的结果进行整合

3：yarn:hadoop1.0是没有yarn框架的 yarn是负责资源的有点像是电脑的内存负责资源的调度 resourcemanager：统计并管理多单台的结果。进行调度 nodemanager：单台电脑的资源管理

hadoop用在分析大量的数据，并行处理传输数据 把数据进行分隔成多份数据，hadoop有较高的容错性，它把数据分三份进行存储在不同的电脑上。