首页 > 其他 > 详细

【解决】hive动态增加partitions不能超过100的问题

时间:2015-07-20 12:58:14      阅读:210      评论:0      收藏:0      [点我收藏+]

Author: kwu 

【解决】hive动态增加partitions不能超过100的问题,全量动态生成partitions超过100会出现如下异常:

The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100

解决100限制,可设置如下参数:

set hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=100000; 
SET hive.exec.max.dynamic.partitions.pernode=100000; 
insert overwrite table ods.cms_entity PARTITION (DAY)
select 
ENTITY_ID  ,
ENTITY_NAME  ,
ENTITY_DESC  ,
ENTITY_TYPE  ,
ENTITY_PID  ,
ENTITY_TIME  ,
ENTITY_PRIORITY  ,
ENTITY_STATUS  ,
ENTITY_CHANNEL  ,
ENTITY_EDITOR  ,
ENTITY_TEMPLATE  ,
ENTITY_URL    ,
ENTITY_CATEGORY  ,
ENTITY_PARAM  ,
ENTITY_SHORTNAME  ,
ENTITY_SUBTYPE  ,
ENTITY_COMPDELAY  ,
day


设置动态partitions为100000,该语句插入几年按天的partitions超过1000个,成功执行语句。

版权声明:本文为博主原创文章,未经博主允许不得转载。

【解决】hive动态增加partitions不能超过100的问题

原文:http://blog.csdn.net/bdchome/article/details/46965857

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!