首页 > 其他 > 详细

005、Hadoop-MapReduce详解

时间:2014-12-01 00:47:11      阅读:301      评论:0      收藏:0      [点我收藏+]

一、Map任务的执行过程

  1. 读取文件的内容,解析成key、value对,对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数
  2. 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出
  3. 对输出的key,value进行分区
  4. 对不同分区的数据,按照key进行排序分组,相同的key的value放在一起
  5. 对分组后的数据进行归约

二、Reduce的执行过程

  1. 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点
  2. 对多个map任务的输出进行合并,排序,写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出
  3. 把reduce的输出保存到文件中

005、Hadoop-MapReduce详解

原文:http://www.cnblogs.com/hiter-java/p/4134003.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!