首页 > 其他 > 详细

Sqoop在导入数据的时候数据倾斜

时间:2020-07-07 22:57:08      阅读:441      评论:0      收藏:0      [点我收藏+]

Sqoop 抽数的并行化主要涉及到两个参数:num-mappers:启动N个map来并行导入数据,默认4个;

                    split-by:按照某一列来切分表的工作单元。

 

split切分算法默认是根据主键来的:比如map 个数为4,取 ( 主键最大值 -  主键最小值 )/ map 数量 ,这就分成了 4份,如果主键分布不均,那么就会出现数据倾斜。

解决方法

通过ROWNUM() 生成一个严格均匀分布的字段,然后指定为分割字段

 

Sqoop在导入数据的时候数据倾斜

原文:https://www.cnblogs.com/yangxusun9/p/13263645.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!