首页 > 其他 > 详细

Hbase预分区

时间:2019-06-01 20:01:43      阅读:79      评论:0      收藏:0      [点我收藏+]

HBase的预分区

1、为何要预分区?

  • 增加数据读写效率
  • 负载均衡,防止数据倾斜
  • 方便集群容灾调度region
  • 优化Map数量

2、如何预分区?

每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。

3、如何设定预分区?

3.1、手动指定预分区

create ‘staff‘,‘info‘,‘partition1‘,SPLITS => [‘1000‘,‘2000‘,‘3000‘,‘4000‘]

完成后如图:

 技术分享图片

3.2、使用16进制算法生成预分区

create ‘staff2‘,‘info‘,‘partition2‘,{NUMREGIONS => 15, SPLITALGO => ‘HexStringSplit‘}

完成后如图:

 技术分享图片

3.3、分区规则创建于文件中

创建splits.txt文件内容如下:

aaaa
bbbb
cccc
dddd

 

然后执行:

create ‘table2‘,‘partition2‘,SPLITS_FILE => ‘splits.txt‘

成功后如图:

 技术分享图片

3.4、使用JavaAPI创建预分区

Java代码如下:

//自定义算法,产生一系列Hash散列值存储在二维数组中

byte[][] splitKeys = 某个散列值函数

//创建HBaseAdmin实例

HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());

//创建HTableDescriptor实例

HTableDescriptor tableDesc = new HTableDescriptor(tableName);

//通过HTableDescriptor实例和散列值二维数组创建带有预分区的HBase表

hAdmin.createTable(tableDesc, splitKeys);

 

Hbase预分区

原文:https://www.cnblogs.com/alexzhang92/p/10941000.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!