首页 > 其他 > 详细

Hbase读取数据流程

时间:2021-05-10 23:00:14      阅读:22      评论:0      收藏:0      [点我收藏+]

Hbase读取数据流程

技术分享图片

1、客户端向zookeeper发送请求,获取hbase:meta元数据
2、元数据获取后加载到内存当中
3、通过rowKey信息,从元数据中查找Region相关信息
4、RegionServer构建RegionScanner,一个RowKey的信息对应着一个RegionScanner(它是一个主键的总信息)
5、一个RegionScanner会生成多个storeScanner,这个主要和store的个数有关,而store的个数与列族的个数有关
一个列族对应着一个store
6、storeScanner会排序,生成最小堆StoreHeap:PriorityQueue<StoreScanner>
7、一个storeScanner会生成一个缓冲区memStore和多个storeFileScanner,这个storeFileScanner的个数主要取决于storeFile的个数,也就是列的个数。
8、storeFileScanner会根据rowKey定位到storeFile文件中的rowKey的起始位置
9、合并并构建小堆KeyValueHeap:PriorityQueue<KeyValueScanner>,排序规则按照keyValue从小到大排序
10、经过一行一行的查找和筛选得到需要查询的keyValue值

Hbase读取数据流程

原文:https://www.cnblogs.com/huangwenchao0821/p/14752589.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!