首页 > 其他 > 详细

hadoop解决数据倾斜的方法

时间:2020-06-16 14:45:54      阅读:45      评论:0      收藏:0      [点我收藏+]

1,如果预聚合不影响最终结果,可以使用conbine,提前对数据聚合,减少数据量。

2,使用2次mr的方式。第一次mr,在map输出是给key加上一个前缀,则可以把相同的key分配到不同的reduce聚合,可以实现同一个key数据量大的问题;第二次mr对把第一次mr输出的数据的key去掉前缀,在聚合。

3,增加reduce个数,提示并行度。

4,自定义分区,自定义散列函数,把数据均匀分配到不同reduce。

hadoop解决数据倾斜的方法

原文:https://www.cnblogs.com/gaoshanmuxue/p/13140164.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!