首页 > 移动平台 > 详细

ChainMapper/ChainReducer 的实现原理

时间:2014-08-15 12:20:18      阅读:378      评论:0      收藏:0      [点我收藏+]

ChainMapper/ChainReducer 主要为了解决线性链式Mapper 而提出的。也就是说,在Map 或者Reduce 阶段存在多个Mapper,这些Mapper 像Linux 管道一样,前一个Mapper的输出结果直接重定向到下一个Mapper 的输入,形成一个流水线,形式类似于[MAP+REDUCE MAP*]。图1展示了一个典型的ChainMapper/ChainReducer 的应用场景:在Map 阶段,数据依次经过Mapper1 和Mapper2 处理;在Reduce 阶段,数据经过shuffle 和sort 后;交由对应的Reducer 处理,但Reducer 处理之后并没有直接写到HDFS 上,而是交给另外一个Mapper 处理,它产生的结果写到最终的HDFS 输出目录中。

 

bubuko.com,布布扣

图1 ChainMapper/ChainReducer 应用实例

需要注意的是, 对于任意一个MapReduce 作业,Map 和Reduce 阶段可以有无限个Mapper,但Reducer 只能有一个。也就是说,图2 所示的计算过程不能使用 ChainMapper/ChainReducer 完成,而需要分解成两个MapReduce 作业。

bubuko.com,布布扣

图2 一个ChainMapper/ChainReducer 不适用的场景

 

ChainMapper/ChainReducer 的实现原理,布布扣,bubuko.com

ChainMapper/ChainReducer 的实现原理

原文:http://www.cnblogs.com/netskill/p/3914368.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!