用本地的mapreduce测试单词计数

mac2023-01-23  24

在自己的家路径下创建一个文件xxx(为名字)pwd的结果:/root

 

 

   3.从本地上传到HDFS中:格式是hdfs dfs -put   [本地的文件路径]  [上传到HDFS路径]

             例子:如下

 

    4.查看HDFS根目录的结果:

          例子:如下

    5.然后到/liqing目录下查看,是否上传成功

           例子:如下

 

  6.先进入路径:mapreduce路径

 

       7.测试命令格式:hadoop jar hadoop-mapreduce-examples-2.8.4.jar   wordcount  [ 这是hdfs的路径(相当于输入路径)  切记  ]  [这是输入    路径(也可以到hdfs的根目录下,方便在web页面查看和文件下载)]

       例子:如下 (输出路径是不存在的,切记。可以自己写一个)  

8.测试结果:(证明运行成功了,有日志)

 

 

9.可以查看下:在hdfs的根目录下生成了 out1目录(自己刚才写的路径)

 

10.可以查看下:out1目录的内容

 11.最后查看最后的结果:

 

 

12.测试成功(也可以到Web页面,下载Part-r-00000这个文件)

 

 

最新回复(0)