首页 > 其他 > 详细

最快速创建大量hdfs目录

时间:2019-08-30 18:44:34      阅读:76      评论:0      收藏:0      [点我收藏+]

需要创建大量hdfs目录的原因:配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录,因此需要创建很多。

正常创建目录都是使用

hadoop fs -mkdir -p /aa/bb/01

少数目录可以这么创建,但是目录过多创建就会很慢,因为创建一个目录就需要去请求一次hadoop fs 。

快速创建大量hdfs方法:

在执行hql的地方执行

dfs -mkdir -p /aa/bb/01; 

这是一个hql,只需要连接上就不需要多次请求连接了。比第一种方式快速很多。

把需要的创建的hdfs目录写入一个文件,用beeline -f直接一次创建。

文件test里面的内容是

dfs -mkdir -p /aa/bb/01; 

dfs -mkdir -p /aa/bb/02;

dfs -mkdir -p /aa/bb/03;  

执行命令

beeline -f test

结束。

因为笔者需要创建近万个hdfs目录,如果用第一种方式创建需要几天,如果用第二种方式几小时搞定吧。

最快速创建大量hdfs目录

原文:https://www.cnblogs.com/singsong-ss/p/11436430.html

(1)
(1)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!