首页 > 其他 > 详细

hadoop中Combiner使用中需要注意的地方

时间:2015-02-10 20:12:15      阅读:255      评论:0      收藏:0      [点我收藏+]

今天在写一个MR的时候,用到了combiner。在使用过程中,遇到了一些问题,特此记录一下。

Combiner分为两种,一种是可插拔的,一种是不可插拔的。

可插拔的:Combiner和Reduce的处理逻辑是一样的,可以直接使用Reduce类进行处理。如果去掉Combiner,不影响结果。

不可插拔:Combiner和Reduce的处理逻辑不一样,如果去掉Combiner,会影响结果。

在使用不可插拔的Combiner过程中需要注意的是,其输出的key和value要和Map输出的key和value一致,要不然会报错。

hadoop中Combiner使用中需要注意的地方

原文:http://www.cnblogs.com/6tian/p/4284532.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!