第2节 mapreduce深入学习:12、reducetask运行机制(多看几遍)

mac2022-06-30  102

ReduceTask的运行的整个过程 背下来1、启动线程到mapTask那里去拷贝数据,拉取属于每一个reducetask自己内部的数据2、数据的合并,拉取过来的数据进行合并,合并的过程,有可能在内存当中,有可能在磁盘当中,有可能在内存和磁盘当中,合并的时候同时要进行分组操作3、调用reduce逻辑4、数据输出

 

 

转载于:https://www.cnblogs.com/mediocreWorld/p/11028068.html

相关资源:JAVA上百实例源码以及开源项目
最新回复(0)