首页 > 其他 > 详细

HBase权威指南

时间:2020-02-23 13:58:05      阅读:65      评论:0      收藏:0      [点我收藏+]

简介和安装

  • HBase来源
  • 列式数据库的优势
  • HBase的意义
  • HBase的安装、配置文件

客户端API:基础知识

  • 基础操作Put Get Delete Scan
  • Scan与Get的区别,一批记录和一条记录
  • Result类和ResultScanner类
  • 行锁
  • 较少RPC 远程程序调用,减少网络开销

客户端API:高级特性

  • 过滤器,Filter类
  • get和scan可以查询数据,但是不能执行细粒度的筛选功能
  • 过滤器在服务端生效,过滤的数据不会传输 给客户端,减少宽带消耗
  • 过滤器在客户端创建,通过RPC传送到服务端
  • CompareFilter比较过滤器、FileterBase专用过滤器

客户端API:管理功能

  • Table类,对一个表操作
  • Admin类,对所有表操作
  • Region,RegionServer的关系

可用客户端

  • 通过REST、Thrift、Avro访问HBase
  • Hive支持HBase,可访问HBase数据库的数据
  • 要掌握HBase Shell 编程命令
  • alter\describe\disable\drop\enable\exists\List
  • 数据操作:count\delete\get\put\scan\truncate

与MapReduce集成

  • HBase的InputFormat,TableInputFromat将表拆分成大小合适的块交给Mapreduce处理
  • HBase提供了一个TableMapper类
  • HBase提供了一个TableReducer类
  • 输出到HBase表时,可以使用TableOutputFormat类
  • 第一个例子,将HBase作为数据流向

架构

  • B树,B+树被关系型存储引擎广泛采用,LSM树大致为BigTable底层存储架构
  • HFile格式
  • HBase提供了-ROOT-和.META.,-ROOT-表用来查询.META.表中region的位置
  • 类似B+树三层查找结构,第一层root region找-ROOT-,第二层-ROOT-找.META.,第三层.META.找region

高级用法

  • 设计好的表结构,列名
  • 一个列族一个存储文件,HBase不存储NULL值
  • 含有结构信息的整个单元格为keyvalue
  • 高表、宽表

集群监控

  • 集群信息可视化
  • 有一些软件通过监控API对MASTER,REGION,RPC进行监控

性能优化

  • 本地memstore分配缓冲区
  • 一旦memsotre满了,flush进入磁盘,store文件
  • 当region达到阈值,拆分成两个

HBase权威指南

原文:https://www.cnblogs.com/chenshaowei/p/12348904.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!