首页 > 其他 > 详细

【甘道夫】通过bulk load将HDFS上的数据导入HBase

时间:2014-11-04 19:46:52      阅读:345      评论:0      收藏:0      [点我收藏+]
引言
通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能,下面简单记录下关键步骤。
bulkload的详细情况请参见官网文档。

过程
  • 第一步:每台机器执行
ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml

  • 第二步:编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh,拷贝到所有节点
末尾添加:
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/lib/*:$ZOOKEEPER_HOME/zookeeper-3.4.6.jar

  • 第三步:生成HFile文件
hadoop jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.2.0.jar importtsv -Dimporttsv.columns=${hbase_columns}  -Dimporttsv.bulk.output=${hfile_path} ${hbase_table} ${source_data_path}

注意:
  1. ${hbase_columns}顺序列出了导入HBase后的每一列,格式【列族:限定符】。列的顺序需和${source_data_path}数据中的字段顺序匹配。计划作为rowkey的字段使用HBASE_ROW_KEY,例如“HBASE_ROW_KEY,SERVICE_INFO:ID,SERVICE_INFO:RRANK,SERVICE_INFO:SERVICE_CODE”
  2. bulkload会自动创建${hfile_path},只需指定,无需事先创建;
  3. ${hbase_table}可以带上namespace,例如"JILIN_SME_SP_RECS:SP_T_RE_GUL_SERVICE"
  4. ${source_data_path}这里我们使用的是一个hive的外部表数据目录。
  • 第四步:导入数据到HBase
hadoop jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.2.0.jar completebulkload ${hfile_path} ${hbase_table}

【甘道夫】通过bulk load将HDFS上的数据导入HBase

原文:http://blog.csdn.net/u010967382/article/details/40788415

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!