hadoop(三)伪分布模式hdfs文件处理|5

伪分布模式hdfs

1.启动hsfs

2. 编辑vi hadoop-env.sh

image.png

 

image.png

3.配置nameNode和生产文件第地址

[shaozhiqi@hadoop101 hadoop]$ vi core-site.xml

指定HDFS中NameNode的地址

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> <!--指定hadoop运行时产生的临时文件存储的目录--> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.2/data/tmp</value> </property> </configuration>

4.指定HDFS的副本数

[shaozhiqi@hadoop101 hadoop]$ vi hdfs-site.xml <property> <name>dfs.replication</name> <value>1</value> </property>

只有一个节点的话相同数据只存放一份，配置三没用，照样存储一份

启动hdfs

1. 格式化nameNode

hdfs namenode –format //生成name的工作空间 image.png

 

可以看到data文件夹已被创建

 

image.png

 

查看version可以看到我们的namenode id和集群id已生成

namespaceID=942797111 clusterID=CID-b853720f-e038-4541-a038-bb78bb01452a image.png

2. 启动

查看hadoop有哪些命令

 

image.png hadoop-daemon.sh //是hadoop单节点守护进程的命令

3. 启动namenodeh

hadoop-daemon.sh start namenode image.png

 

查看是否启动成功Jsp是jdk提供的java的查看哪些java进程（linux是ps -ef）

 

image.png

 

如图启动成功查看namenode web页面192.168.1.101:9870（3.x+版本），旧版本的端口是50070如果无法访问查看防火墙是否开启，若是开启就将它关闭：

[shaozhiqi@hadoop101 hadoop-3.1.2]$ systemctl stop firewalld.service image.png

4. 启动datenode

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hadoop-daemon.sh start datanode

 

 

<div align="right">

image.png

</div>查看web端

 

image.png

查看data目录返现多了一个data,之前只有name

image.png

 

可以看到namenode和datanode时同一个集群<font color="red">注意：</font>我们重新个数话namenode时得删除date目录还有logs,否则集群起不来

 

image.png

并列的logs

Logs目录

通过刚刚的一系列操作我们生成了data和logs查看logs目录发现有datanode和namenode的日志

 

image.png

执行wordcount

在hdfs文件系统上创建输入文件input

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hdfs dfs -mkdir -p /user/shaohadoop/input

这个目录会创建在我们hdfs文件系统上，不是centos的本地路径。

 

image.png

 

将之前我们的wc.input 上传到我们的hdfs的input下

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hdfs dfs -put wcinput/wc.input /user/shaohadoop/input image.png

 

image.png

执行我们的wordcont

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /user/shaohadoop/input user/shaohadoop/output

输入路径我们可以用hdfs自定义，但是输出路径自动加了usershaozhiqi,还不太懂

 

image.png

 

点击part-r 00000,下载后可以看到运行成功

 

image.png

转载于:https://www.cnblogs.com/shaozhiqi/p/11534597.html