首页 > 其他 > 详细

HIVE调优之并行执行

时间:2019-08-27 09:54:24      阅读:74      评论:0      收藏:0      [点我收藏+]

Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段,或者Hive执行过程中可能需要的其他阶段。默认情况下,Hive一次只会执行一个阶段。不过,某个特定的job可能包含众多的阶段,而这些阶段可能并非完全互相依赖的,也就是说有些阶段是可以并行执行的,这样可能使得整个job的执行时间缩短。不过,如果有更多的阶段可以并行执行,那么job可能就越快完成。当然,得是在系统资源比较空闲的时候才有优势,否则,没资源,并行也起不来

HIVE调优之并行执行

原文:https://www.cnblogs.com/xiangyuguan/p/11416126.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!