Hadoop模块组成:
HDFS: 用于储存(可靠的,高吞量的分布式文件系统)
MapReduce: 用于计算(分布式的离线并行计算框架)
YARN: 用于资源调度(作业调度与集群资源管理框架)
Common: 支持其他模块的工具模块
文件系统核心模块: hdfs的组成
NameNode:集群当中的主节点,用于管理集群中的各种元数据DataNode集群当中的从节点,主要用于存储集群当中的各种数据secondaryNameNode:主要能用于Hadoop当中元数据信息的辅助管理
数据计算核心模块: yarn的组成
ResourceManager接收用户的计算请求任务,并负责集群的资源分配NodeManager负责执行主节点APPmaster分配的任务