首页 > 其他 > 详细

groupbyKey和reducebyKey的区别

时间:2019-09-03 19:14:46      阅读:100      评论:0      收藏:0      [点我收藏+]

reducebyKey会先在本地机器上进行局部聚合,然后在移动数据,进行全局聚合

技术分享图片

 

 groupbyKey会先将数据进行移动,再做聚合

技术分享图片

 

 

 reducebyKey适合使用在大数据量上

 

groupbyKey和reducebyKey的区别

原文:https://www.cnblogs.com/18800105616a/p/11454551.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!