首页 > 其他 > 详细

hive 优化

时间:2015-03-13 20:53:50      阅读:350      评论:0      收藏:0      [点我收藏+]

set hive.exec.reducers.bytes.per.reducer=2000000000; ##每个reduce任务处理的数据量,默认为1000^3=1G
set hive.groupby.skewindata = true ##对于join和Group操作都可能会出现数据倾斜
set hive.optimize.skewjoin=true;--如果是join 过程出现倾斜 应该设置为true

set mapreduce.map.memory.mb=1025;

set mapreduce.reduce.memory.mb=1025; 


hive 优化

原文:http://my.oschina.net/u/1388024/blog/386824

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!