hadoop集群下执行Terasort排序

mac2026-01-09  6

1.产生数据:

 hadoop jar /usr/local/hadoop-2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar teragen  10737418  /terasort/1G-input

2.检查是否产生数据:     hdfs dfs -ls  /terasort/    

3.使用terasort排序     hadoop jar /usr/local/hadoop-2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar terasort  /terasort/1G-input  /terasort/1G-output

4.检查排好序的数据:     hdfs dfs -ls  /terasort/

5.使用TeraValidate 进行结果验证:     hadoop jar /usr/local/hadoop-2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar  teravalidate /terasort/1G-output  /terasort/1G-validate

6.检查验证数据:     hdfs dfs -ls  /terasort/

最新回复(0)