首页 > 其他 > 详细

Hive读取外表数据时跳过文件行首和行尾

时间:2017-01-03 11:45:30      阅读:2148      评论:0      收藏:0      [点我收藏+]

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处

有时候用hive读取外表数据时,比如csv这种类型的,需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息,这里可以用属性设置来实现,快速mark下,建表的时候设置如下

Create external table testtable (name string, message string) row format delimited fields terminated by \t lines terminated by \n location /user/file.csv tblproperties ("skip.header.line.count"="1", "skip.footer.line.count"="2");

对,就是上面sql中tblproperties的2个属性

“skip.heaer.line.count” 跳过文件行首多少行

“skip.footer.line.count”跳过文件行尾多少行

注意,这个属性的功能是hive0.13以后的都可以支持

参考资料:

https://issues.apache.org/jira/browse/HIVE-5795

Hive读取外表数据时跳过文件行首和行尾

原文:http://www.cnblogs.com/cssdongl/p/6244010.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!