首页 > 其他 > 详细

mapreduce

时间:2018-05-21 16:48:42      阅读:190      评论:0      收藏:0      [点我收藏+]

MapReduce的处理过程分为两个步骤:map和reduce。

每个阶段的输入输出都是key-value的形式,key和value的类型可以自行指定。

map阶段对切分好的数据进行并行处理,处理结果传输给reduce,由reduce函数完成最后的汇总。

如果有多个map任务同时运行(通常都是这样),那么每个map任务完成后,都会向reduce发送上面格式的数据,发送数据的过程叫shuffle

 

mapreduce

原文:https://www.cnblogs.com/bupt2016/p/9067961.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!