一. 测试成功的案例
A.首先路径一定不要写本地的,应该试args[n]格式
//配置输入数据的路径
FileInputFormat.setInputPaths(job, new Path(args[0]));
//配置输出的路径
FileOutputFormat.setOutputPath(job, new Path(args[1]));
B.开始进行maven先进行clean然后在package
C.生成的jar包在windows上,然后上传集群
D.在hadoop目录下,建个myjar目录,所有打包的jar包上传。
F.开始测试,但是测试的数据都是,已经上传到HDFS路径下的。(可以是任意的)
G.找主类名:
com.itstar.mr.wc0908.WCDriver 这是个主类名 后面跟hdfs的输入路径,后面跟hdfs的输出路径
H.正式测试数据,
命令:[root@bigdata111 myjar]# hadoop jar hadoop-13-1.0-SNAPSHOT.jar com.itstar.mr.wc0908.WCDriver /mrTest/wordcount.txt /mrTest/out
I.结果测试成功:
生成的out目录:
二.出现的错误,分析。
这种情况出现的原因:是用了本地路径进行打包后,到集群运行出现的报错
因为linux路径没自己windows的本地路径。
解决办法是:将本地路径,换成args[0],args[1]数组传参模式
然后在进行clean,然后在进行package。
一定要细心