1、免费开源版本apache:http://Hadoop.apache.org/
优点:拥有全世界的开源贡献者,代码更新迭代版本比较快,缺点:版本的升级,版本的维护,版本的兼容性,版本的补丁都可能考虑不太周到,学习可以用,实际生产工作环境尽量不要使用 apache所有软件的下载地址(包括各种历史版本):http://archive.apache.org/dist/2、免费开源版本hortonWorks:https://hortonworks.com/
hortonworks主要是雅虎主导Hadoop开发的副总裁,带领二十几个核心成员成立Hortonworks,核心产品软件HDP(ambari),HDF免费开源,并且提供一整套的web管理界面,供我们可以通过web界面管理我们的集群状态,web管理界面软件HDF网址(http://ambari.apache.org/)3、服务收费版本ClouderaManager: https://www.cloudera.com/
cloudera主要是美国一家大数据公司在apache开源Hadoop的版本上,通过自己公司内部的各种补丁,实现版本之间的稳定运行,大数据生态圈的各个版本的软件都提供了对应的版本,解决了版本的升级困难,版本兼容性等各种问题,生产环境推荐使用。注意:hortonWorks和ClouderaManager合并了Hadoop的模块组成
1、HDFS:一个高可靠、高吞吐量的分布式文件系统。2、MapReduce:一个分布式的离线并行计算框架。3、YARN:作业调度与集群资源管理的框架。4、Common:支持其他模块的工具模块。1.x的版本架构模型介绍 文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据secondaryNameNode:主要能用于Hadoop当中元数据信息的辅助管理DataNode:集群当中的从节点,主要用于存储集群当中的各种数据数据计算核心模块:
JobTracker:接收用户的计算请求任务,并分配任务给从节点TaskTracker:负责执行主节点JobTracker分配的任务2.x的版本架构模型介绍 第一种:NameNode与ResourceManager单节点架构模型 文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种元数据secondaryNameNode:主要能用于Hadoop当中元数据信息的辅助管理DataNode:集群当中的从节点,主要用于存储集群当中的各种数据数据计算核心模块:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配NodeManager:负责执行主节点APPmaster分配的任务第二种:NameNode单节点与ResourceManager高可用架构模型 文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据secondaryNameNode:主要能用于Hadoop当中元数据信息的辅助管理DataNode:集群当中的从节点,主要用于存储集群当中的各种数据数据计算核心模块:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配,以及计算任务的划分,通过zookeeper实现ResourceManager的高可用NodeManager:负责执行主节点ResourceManager分配的任务第三种:NameNode高可用与ResourceManager单节点架构模型 文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据,其中nameNode可以有两个,形成高可用状态DataNode:集群当中的从节点,主要用于存储集群当中的各种数据JournalNode:文件系统元数据信息管理数据计算核心模块:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配,以及计算任务的划分NodeManager:负责执行主节点ResourceManager分配的任务第四种:NameNode与ResourceManager高可用架构模型 文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据,一般都是使用两个,实现HA高可用JournalNode:元数据信息管理进程,一般都是奇数个DataNode:从节点,用于数据的存储数据计算核心模块:
ResourceManager:Yarn平台的主节点,主要用于接收各种任务,通过两个,构建成高可用NodeManager:Yarn平台的从节点,主要用于处理ResourceManager分配的任务