首页 > 其他 > 详细

脚本批量生成hbase插入脚本

时间:2019-08-27 21:37:45      阅读:125      评论:0      收藏:0      [点我收藏+]

数据插入HBase步骤:
1. 造好的数据复制到"input_data.txt"这个文档
2. 双击执行"change_data2hbase.py"
3. 观察到"output_data.txt"的修改日期更新为最新即可
4. 复制"output_data.txt"的内容,进入开发或者UAT环境的命令行,执行"hbase shell"
5. 将"output_data.txt"的内容粘贴至hbase shell的命令行中,等待完成即可

技术分享图片

change_data2hbase.py脚本如下:

def clean_coscp(s):
   # s2
= s.replace("put\t", "put ‘").replace("db_name\t", "db_name:").replace("F\t", "F:").replace("\t", "‘,‘").replace("\n", "‘\n") if (s2[-1] != "\n"): s2 = s2 + "" s2 = s2 + "\n" return s2 input_file_name = "input_data.txt" output_file_name = "output_data.txt" s = open(input_file_name).read() ss = clean_coscp(s) s2 = open(output_file_name, "w") s2.write(ss) s2.close()

input_data.txt 编辑格式如下:(可从excel汇总批量复制生成)

put db_name table_name 33339681431_99999 F H_NATIONALITY_EM 中国
put db_name table_name 33339681431_99999 F H_RACE_EM 汉族

脚本批量生成hbase插入脚本

原文:https://www.cnblogs.com/cailingsunny/p/11420839.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!