首页 > 其他 > 详细

MapReduce 1.x 编程 系列三 Reduce阶段实现

时间:2014-09-26 00:54:09      阅读:308      评论:0      收藏:0      [点我收藏+]

Reduce代码就是做加和统计,

package org.freebird.reducer;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer.Context;
import org.apache.hadoop.mapreduce.Reducer;


public class LogReducer<Key> extends Reducer<Key, IntWritable, Key,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Key key, Iterable<IntWritable> values,
                       Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}


迭代遍历values,取出所有的value,都是1, 简单加和。

然后结果写入到context中。 注意,这里的context是Reducer包的Context。



MapReduce 1.x 编程 系列三 Reduce阶段实现

原文:http://blog.csdn.net/csfreebird/article/details/39561885

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!