首页 > 数据库技术 > 详细

hive sql 优化

时间:2020-06-22 15:12:34      阅读:71      评论:0      收藏:0      [点我收藏+]

常规的:

1、过早的过滤字段、只选用需要的列、要加分区

2、join 小表放左边

set hive.exec.reducers.max=200;

set mapred.reduce.tasks= 200;---增大Reduce个数

set hive.groupby.mapaggr.checkinterval=100000 ;

set hive.groupby.skewindata=true; --如果是group by过程出现倾斜 应该设置为true

set hive.skewjoin.key=100000; --这个是join的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

set hive.optimize.skewjoin=true;--如果是join 过程出现倾斜 应该设置为true
参考:https://blog.csdn.net/weixin_41876523/article/details/84069013

hive sql 优化

原文:https://www.cnblogs.com/breece/p/13176544.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!