首页 > 其他 > 详细

Hadoop简介

时间:2020-07-05 21:57:56      阅读:48      评论:0      收藏:0      [点我收藏+]

Hadoop是什么 

技术分享图片

 

 

 

Hadoop发展历史

技术分享图片

 

 

 技术分享图片

 

 

 

Hadoop三大发行版本

 

       Hadoop三大发行版本:Apache、Cloudera、Hortonworks。

 

            1)Apache版本最原始(最基础)的版本,对于入门学习最好。

 

            2) Cloudera在大型互联网企业中用的较多。

 

            3)Hortonworks文档较好。

1、Apache Hadoop

 

  官网地址:http://hadoop.apache.org/releases.html

 

  下载地址:https://archive.apache.org/dist/hadoop/common/

 

  2、Cloudera Hadoop

 

官网地址:https://www.cloudera.com/downloads/cdh/5-10-0.html

 

下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/

 

(1)2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括支持、咨询服务、培训。

 

(2)2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support

 

(3)CDH是Cloudera的Hadoop发行版,完全开源,比Apache Hadoop在兼容性,安全性,稳定性上有所增强。

 

(4)Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

 

(5)Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

 

3、 Hortonworks Hadoop

 

官网地址:https://hortonworks.com/products/data-center/hdp/

 

下载地址:https://hortonworks.com/downloads/#data-platform

 

(1)2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

 

(2)公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,贡献了Hadoop80%的代码。

 

(3)雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

 

(4)Hortonworks的主打产品是Hortonworks Data Platform(HDP),也同样是100%开源的产品,HDP除常见的项目外还包括了Ambari,一款开源的安装和管理系统。

 

(5)HCatalog,一个元数据管理系统,HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的,易于使用的沙盒。

 

(6)Hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的Microsoft Windows平台上本地运行。定价以集群为基础,每10个节点每年为12500美元。

 

Hadoop的优势(4高)

 

  1. 高可靠性: Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
  2. 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
  3. 高效性:在MapReduce的思想下,Hadoop 是并行工作的,以加快任务处理速度。
  4. 高容错性:能够自动将失败的任务重新分配。

 Hadoop组成

 

 

技术分享图片

 

 微信公众号:资源自由分享   定时更新 hadoop 教程,关注即可获取视频教程

 

Hadoop简介

原文:https://www.cnblogs.com/wujiaofen/p/13251925.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!