首页 > 其他 > 详细

Hive一些参数设置

时间:2014-07-19 21:34:14      阅读:787      评论:0      收藏:0      [点我收藏+]

在使用union all的时候,系统资源足够的情况下,为了加快hive处理速度,可以设置如下参数实现并发执行

set mapred.job.priority=VERY_HIGH;
set hive.exec.parallel=true;

 设置map reduce个数

-- 设置map capacity
set mapred.job.map.capacity=2000;
set mapred.job.reduce.capacity=2000;
-- 设置每个reduce的大小 set hive.exec.reducers.bytes.per.reducer=500000000; -- 直接设置个数 set mapred.reduce.tasks = 15;

 设置任务名称

-- 设置名称
set mapred.job.name=my_job_{DATE};

Hive一些参数设置,布布扣,bubuko.com

Hive一些参数设置

原文:http://www.cnblogs.com/cfox/p/3849407.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!