hadoop的关键进程

mac2022-06-30  20

hadoop集群中主要进程有 master:   NameNode, ResourceManager, slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild 其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是: RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。 MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。 YarnChild:运行具体的map/reduce task。 job启动过程: ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild job退出过程: YarnChild->MRAppMaster->RunJar 即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。 网上找到的一些示意图: 图1 图2

转载于:https://www.cnblogs.com/jinhong-lu/p/4559320.html

最新回复(0)