首页 > 其他 > 详细

msck repair命令 修复表分区

时间:2016-01-06 02:13:53      阅读:489      评论:0      收藏:0      [点我收藏+]
msck repair table 表名;
     该命令会把没添加进partition的数据,都增加对应的partition。同步源数据信息metadata。

场景:
  由于一个数据量较大的表使用的是textfield格式存储,需要将此表转换成rcfile格式存储。

step1. 使用 hadoop fs -mv hdfsdir1 hdfsdir2 修改文件路径

step2. 建立结构相同的表引用 hdfsdir2 文件路径

step3. 使用msck repair table  命令修复引用各分区数据。

step4. 删除并重新创建原始表(存储格式为rcfile),做个循环job将数据重新insert到原始表。

msck repair命令 修复表分区

原文:http://blog.itpub.net/28929558/viewspace-1970631/

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!