Hadoop组成部分

hadoop2.0由三部分组成：

HDFS MapReduce Yarn

其中：

HDFS是分布式文件存储系统，分为 Namenode 管理者 主节点 Datanode 工作者 从节点

MapReduce是海量数据的计算系统

Yarn是集群资源管理框架： ResouceManager DateManager

HDFS

管理者：NameNode

作用：负责管理，管理集群内各个节点。 负责管理整个文件系统的元数据（指的是数据的存放位置或存放路径）或名字空间

辅助管理者：SecondaryNameNode

作用：责辅助NameNode管理工作。

工作者：DataNode

作用：负责工作，进行读写数据。 周期向NameNode汇报。 负责管理用户的文件数据块(一个大的数据拆分成多个小的数据块) MapReduce Yarn 管理者：ResourceManager 工作者：NodeManager

Namenode作用

1、维护 管理文件系统的名字空间(元数据信息) 2、负责确定指定的文件块到具体的Datanode结点的映射关系。 3、维护管理 DataNode上报的心跳信息

HDFS 副本存放机制

第一份数据来源于客户端 第二份存放的位置是与第一个副本在相同机架上，且不在同一个节点，按照一定的规则（cpu 内存 IO是用率，和硬 盘剩余容量）找到一个节点存放 第三个副本的存放位置是与第一第二份数据副本不在同一个机架上，且逻辑与存放副本1和2的机架距离最近的机上 按照一定的规则（cpu 内存 IO是用率，和硬盘剩余容量）找到一个节点进行存放