首页 > 其他 > 详细

关于Hive创建分区目录且能查到数据的三种方法

时间:2019-11-16 10:49:59      阅读:104      评论:0      收藏:0      [点我收藏+]

关于Hive创建分区目录且能查到数据的三种方法

1. 使用dfs -mkdir 和 dfs -put 分别创建分区目录和上传数据,此时执行msck repair table 表名 命令就能查询到数据

1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_log/day=20191115;创建分区目录

技术分享图片

 

 2. 使用dfs -put /opt/module/hiveTest/pv_15.log /user/hive/warehouse-master/pv_log/day=20191115/ 上传本地数据到分区目录中技术分享图片

 

3. 此时select * from pv_log where day=‘20191115‘;查询不到20191115这一天的数据

 技术分享图片

 

4. 使用msck repair table pv_log;这条修复语句后,再执行查询语句就可查询到20191115这一天的数据

 技术分享图片

 

2. 使用dfs -mkdir 和 dfs -put 分别创建分区目录和上传数据,此时执行alter table 表名 add partition(分区目录名) 命令就可查询到数据

1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_log/day=20191116;创建分区目录,以及使用dfs -put /opt/module/hiveTest/pv_16.log /user/hive/warehouse-master/pv_log/day=20191116/ 上传本地数据到分区目录中

技术分享图片

 

 2. 此时执行alter table pv_log add partition(day=‘20191116‘);语句后,就可查询到数据

技术分享图片

 

 3. 使用dfs -mkdir 创建分区目录,此时执行load data local inpath ‘本地数据所在的路径‘ into table 表名 partition(分区目录名);语句后,就可查询到数据

1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_log/day=20191117;创建分区目录技术分享图片

 

 2. 使用load data local inpath ‘/opt/module/hiveTest/pv_17.log‘ into table  pv_log partition(day=‘20191117‘);语句加载数据后,就能查询到数据

技术分享图片

 

 

关于Hive创建分区目录且能查到数据的三种方法

原文:https://www.cnblogs.com/zhangchenchuan/p/11870902.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!