首页 > 其他 > 详细

mapreduce过程以及相关类总结

时间:2020-04-04 13:31:46      阅读:62      评论:0      收藏:0      [点我收藏+]

mapreduce过程以及相关类总结

每个存放文件的split进行处理map过程,map之后放入hash分区的reduce过程,问题:怎么确定map个数

技术分享图片
enter description here

shuffle阶段从map到reduce,放入对应hash好的reduce块中,下图是缓冲过程

技术分享图片
enter description here

如何确定reduce给谁或者几个,由partition决定

技术分享图片
enter description here

combine过程,会在写入文件前各个spill块先进行一次combine,然后reduce的时候再进行一次分区上的总combine操作,combine实际和reduce操作做的一样

技术分享图片
enter description here

hadoop1.0进程关系,maptask和reducetask

技术分享图片
enter description here

mapreduce过程以及相关类总结

原文:https://www.cnblogs.com/miaozhijuan/p/12630886.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!