首页 > 其他 > 详细

Hive优化

时间:2019-06-09 14:26:02      阅读:198      评论:0      收藏:0      [点我收藏+]

一.核心思想

  把HQL当做MapReduce程序去优化。

  注意,以下SQL不会转为MapReduce执行:

    1.select仅查询本表字段。

    2.where仅对本表字段做条件过滤。

二.启动Hive

  技术分享图片

  备注:Hive依赖Zookeeper和HDFS,因此需要先开启!

三.Explain

  Explain显示执行计划,Explain [EXTENDED] query

  1.普通查询,不执行mapreduce任务

    1.1.普通查询

    技术分享图片

    1.2.不带EXTENDED的Explain

    技术分享图片

    1.3.带EXTENDED的Explain

    技术分享图片

  2.执行count(*),执行mapreduce

    2.1 普通查询

    技术分享图片

    2.2不带EXTENDED的Explain

     技术分享图片

     技术分享图片

    2.3带EXTENDED的Explain

    技术分享图片

    技术分享图片

    技术分享图片

    技术分享图片

四.Hive运行模型

  1.本地模型

 

  2.集群模型

    

 

Hive优化

原文:https://www.cnblogs.com/yszd/p/10993207.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!