首页 > 其他 > 详细

hive distict 和 count 操作reducer只有一个的问题

时间:2016-03-10 10:57:07      阅读:246      评论:0      收藏:0      [点我收藏+]

select count(distinct *) from table;

这样写会生成一个job 只有一个reducer执行,可以改为如下:

select count(*) from (

select distinct * from table) t;

这样生成两个job,可有多个reducer执行,效率提升

hive distict 和 count 操作reducer只有一个的问题

原文:http://1992zhong.blog.51cto.com/3963309/1749452

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!