Hadoop基础概念

mac2025-02-18  9

Hadoop模块组成:

HDFS: 用于储存(可靠的,高吞量的分布式文件系统)

MapReduce: 用于计算(分布式的离线并行计算框架)

YARN: 用于资源调度(作业调度与集群资源管理框架)

Common: 支持其他模块的工具模块

文件系统核心模块: hdfs的组成

NameNode:集群当中的主节点,用于管理集群中的各种元数据DataNode集群当中的从节点,主要用于存储集群当中的各种数据secondaryNameNode:主要能用于Hadoop当中元数据信息的辅助管理

数据计算核心模块: yarn的组成

ResourceManager接收用户的计算请求任务,并负责集群的资源分配NodeManager负责执行主节点APPmaster分配的任务

最新回复(0)