首页 > 其他 > 详细

Hbase 16010 z2181

时间:2021-05-10 10:36:46      阅读:34      评论:0      收藏:0      [点我收藏+]

16010
HBase 的底层物理存储结构(K-V)

技术分享图片
技术分享图片

HBase 有两个自带的命名空间,分别是 hbase 和 default,hbase 中存放的是 HBase 内置的表,
default 表是用户默认使用的命名空间。

数据是按照 RowKey 的字典顺序存储的。

Cell 由{rowkey, column Family:column Qualifier, time Stamp} 唯一确定的单元。cell 中的数
据是没有类型的,全部是字节码形式存贮。

技术分享图片

█ 2 HBase Shell 操作

技术分享图片
技术分享图片
技术分享图片
技术分享图片

█ 3 架构

技术分享图片

1)StoreFile 
保存实际数据的物理文件,StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile(HFile),数据在每个 StoreFile 中都是有序的。

2)MemStore 
写缓存,由于 HFile 中的数据要求是 有序 的,所以数据是先存储在 MemStore 中,排好序后,等到达刷写时机才会刷写到 HFile,每次刷写都会形成一个新的 HFile。

3)WAL 
Write-Ahead logfile

○ 3.2 写流程

技术分享图片
技术分享图片

○ 3.4 读流程

技术分享图片
技术分享图片

○ 3.3 MemStore Flush

技术分享图片
技术分享图片
技术分享图片
技术分享图片

○ 3.5 StoreFile Compaction

memstore每次刷写都会生成一个新的HFile,且同一个字段的不同版本(timestamp)
和不同类型(Put/Delete)有可能会分布在不同的 HFile 中
技术分享图片

○ 3.6 Region Split

技术分享图片

█ 4. HBase API P12

技术分享图片

█ 5. HBase 优化

○ 5.1 高可用

backup-masters

○ 5.2 预分区

技术分享图片

技术分享图片

○ 5.3 RowKey 设计

1.生成随机数、hash、散列值
2.字符串反转
3.字符串拼接

○ 5.4 内存优化

技术分享图片

Hbase 16010 z2181

原文:https://www.cnblogs.com/ming-michelle/p/14749865.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!