首页 > 其他 > 详细

[大数据]Hadoop简述

时间:2020-04-25 18:20:19      阅读:106      评论:0      收藏:0      [点我收藏+]

1 Hadoop:发展沿革

1.1 渊源

  • Hadoop项目
    • 最初开发者/创始者: Doug Cutting(道格·卡丁,现任 Apache 基金会的主席)
      • 1985年 毕业于 美国斯坦福大学
      • 1997年 发布 Lucene 项目
      • 2004年 发布 Nutch 项目
      • 2006年 发布 Hadoop项目(Hadoop从Nutch中独立,以便支持MapReduce与HDFS的发展)
      • 2006年2月 受邀加入 Yahoo
      • 2009年 以首席架构师身份加入 Cloudera(2008.6.27成立/2017年上市)
      • 20xx年 当选 Apache 基金会主席
    • 命名由来:Doug Cutting 起先给他孩子的1个棕色的大象的玩具的名字(简短、容易发音、易于拼写)
    • 最初的模块: HDFS 与 MapReduce (后期不断加入Hbase、Hive等子模块项目,直至最终Hadoop泛化成为云计算与大数据产业链中的1个超大概念)
技术分享图片

1.2 发展沿革

技术分享图片

1.3 Cloudera公司

技术分享图片

2 Hadoop:体系架构与软件生态

  • 黑框:非Hadoop原本组件
  • 红框:Hadoop核心组件
技术分享图片

3 Hadoop:模块构成

  • Hadoop Common:支撑其他模块
  • Hadoop Distributed File System :分布式文件系统(对应用系统提供高吞吐量的访问)
  • Hadoop Yarn:资源管理和任务调度的框架
  • Hadoop MapReduce:能够并行处理大数据集的Yarn最核心、最基本模块

4 推荐文献

  • 书籍
    • 2013 《大数据时代》 维克托·迈尔-舍恩伯格/肯尼斯·库克耶(著) 周涛等译 非技术语言描述
      • 2位作者系“大数据”概念的最早提出者(2008年 提出)
    • 2014 《数据之巅》 阿里巴巴副总裁涂子沛
    • 2016 《为数据而生》电子科技大学计算机学院周涛教授(第1本书的译者)
  • 博文

[大数据]Hadoop简述

原文:https://www.cnblogs.com/johnnyzen/p/12774071.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!