某某社交网站，有如下用户好友关系：
A:B,C,D, F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J
数据解释：
A:B,C,D,F,E,O
每行数据以冒号为分隔符：
1、冒号左边是网站的一个用户A； 2、冒号右边是用户A的好友列表（各好友间以逗号为分隔符）； 现在，需要对网站的几十亿用户进行分析，找出哪些用户两两之间有共同好友，以及他俩的共同好友都有哪些人。比如，A、B两个用户拥有共同好友C和E；
最终统计的结果数据示意如下：
A-L F,E,D A-M E,F B-C A B-D A,E B-E C
设计思路： 整个实验过程需要写两个MapReduce程序来实现。 第一个job实现出来的结果是
B-C A B-D A
该数据的意思是B和C用户、B和D用户都是A用户的好友 第二个job实现出来的结果是
A-B E,C A-C D,F A-D E,F
该数据的意思是A和B的共同好友是E用户,C用户。
接下来我们开始写第一个job类。 代码如下：
package demo; import java.io.IOException; import java.util.ArrayList; import java.util.Collections; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; public class demo{ public static void main(String[] args) { Configuration conf=new Configuration(); Job job = Job.getInstance(conf); job.setJarByClass(demo.class); job.setMapperClass(MMapper.class); job.setReducerClass(MReduce.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.setInputPaths(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.waitForCompletion(true); } public static class MMapper extends Mapper<LongWritable, Text, Text, Text>{ // 输入数据形式如： A:B,C,D,F,E,O protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException { // 转换数据类型并用:切割 String[] line = value.toString().split(":"); //得到数据中的用户 String user = line[0]; String[] itmse = line[1].split(","); //得到数据中的好友 for (String v : itmse) { //将每一个好友作为key,用户作为value context.write(new Text(v), new Text(user)); } } } public static class MReduce extends Reducer<Text, Text, Text, Text>{ protected void reduce(Text key, Iterable<Text> value, Context context) throws IOException, InterruptedException { ArrayList<Text> arrayList = new ArrayList<Text>(); // 将这一组拥有共同好友f的user们从迭代器中取出，放入一个arraylist暂存 for (Text u : value) { arrayList.add(new Text(u)); } //对users排个序，以免拼俩俩对时出现A-F 又有F-A的现象 Collections.sort(arrayList); // 把这一对user进行两两组合，并将: //1.组合作为key //2.共同的好友f作为value //返回给reduce task作为本job的最终结果 for (int i = 0; i < arrayList.size()-1; i++) { for (int j = i+1; j <arrayList.size(); j++) { context.write(new Text(arrayList.get(i)+"-"+arrayList.get(j)), key); } } } } }运行结果：
下面我们开始写第二个job
代码如下；
package xxx; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class demo{ public static void main(String[] args) throws Exception { Configuration conf=new Configuration(); Job job = Job.getInstance(conf); job.setJarByClass(demo.class); job.setMapperClass(MMapper.class); job.setReducerClass(MReduce.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.setInputPaths(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.waitForCompletion(true); } public static class MMapper extends Mapper<LongWritable, Text, Text, Text>{ // 输入数据形式如： A:B,C,D,F,E,O protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException { // 将数据按制表符切分 String[] line = value.toString().split("\t"); // 将切出来的B-C用户对作为key，共同好友A作为value // 返回给map task context.write(new Text(line[0]), new Text(line[1])); } } public static class MReduce extends Reducer<Text, Text, Text, Text>{ protected void reduce(Text key, Iterable<Text> value, Context context) throws IOException, InterruptedException { // 构造一个StringBuilder用于拼接字符串 StringBuffer sb = new StringBuffer(); for (Text v : value) { // 将这个用户对的所有共同好友拼接在一起 sb.append(v).append(","); } //用户对作为key，拼接好的所有共同好友作为value context.write(key, new Text(sb.substring(0,sb.length()-1))); } } }运行结果：
本次教程就到次结束了，有什么不懂的欢迎大家下方评论。博主都会帮你解答的。觉的写的不错的点个赞价格关注，多多支持。
