首页 > 其他 > 详细

hadoop 多目录输入,map到reduce如何排序

时间:2014-06-26 07:50:13      阅读:389      评论:0      收藏:0      [点我收藏+]
使用MultipleInputs.addInputPath 对多个路径输入
现在假设有三个目录,并使用了三个mapper去处理,
经过map处理后,输出的结果会根据key 进行join,
如果使用TextPair,会根据第一个字段jion,第二个字段排序
然后在作为reduce的输入,进行计算

hadoop 多目录输入,map到reduce如何排序,布布扣,bubuko.com

hadoop 多目录输入,map到reduce如何排序

原文:http://blog.csdn.net/smile0198/article/details/34534241

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!