首页 > 其他 > 详细

MapReduce分区数据倾斜

时间:2019-12-05 11:27:17      阅读:87      评论:0      收藏:0      [点我收藏+]

什么是数据倾斜?

数据不可避免的出现离群值,并导致数据倾斜,数据倾斜会显著的拖慢MR的执行速度

常见数据倾斜有以下几类

1.数据频率倾斜   某一个区域的数据量要远远大于其他区域

2.数据大小倾斜  一部分记录的大小远远大于平均值

解决数据倾斜的常用方法

技术分享图片

 

 

MapReduce分区数据倾斜

原文:https://www.cnblogs.com/dll102/p/11988020.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!