第2节 mapreduce深入学习:15、reduce端的join算法的实现

mac2022-06-30  102

reduce端的join算法:

例子:

商品表数据 product: pidp0001,小米5,1000,2000p0002,锤子T1,1000,3000

订单表数据 order:             pid1001,20150710,p0001,21002,20150710,p0002,31002,20150710,p0003,3

mapReduce可以实现sql语句的功能:select 。。。。。。from product p left join order o on p.pid = o.pid

 

思路:将关联的条件作为map输出的key。

 

缺点:这种方式中,join的操作是在reduce阶段完成,reduce端的处理压力太大,map节点的运算负载则很低,资源利用率不高,且在reduce阶段极易产生数据倾斜。

替代解决方案: map端join实现方式。

 

 详见代码

 

转载于:https://www.cnblogs.com/mediocreWorld/p/11028591.html

相关资源:小米5一键刷入recovery工具TWRP-3.2.3.rar
最新回复(0)