首页 > 其他 > 详细

Htable参数设置——悟空智慧教育

时间:2019-12-02 21:05:05      阅读:91      评论:0      收藏:0      [点我收藏+]

(1)、Scanner Caching

hbase.client.scanner.caching配置项可以设置HBase scanner一次从服务端抓取的数据条数,默认情况下一次一条。通过将其设置成一个合理的值,可以减少scan过程中next()的时间开销,代价是scanner需要通过客户端的内存来维持这些被cache的行记录。

有三个地方可以进行配置:

1)在HBase的conf配置文件中进行配置;(一般不用次全局配置!!!)

2)通过调用HTable.setScannerCaching(int scannerCaching)进行配置;

3)通过调用Scan.setCaching(int caching)进行配置。三者的优先级越来越高。

(2)、Scan Attribute Selection

scan时指定需要的Column Family,可以减少网络传输数据量,否则默认scan操作会返回整行所有Column Family的数据。

(3)、Close ResultScanner

通过scan取完数据后,记得要关闭ResultScanner,否则RegionServer可能会出现问题(对应的Server资源无法释放)。

 以上文章内容来源于《悟空智慧教育》:技术分享图片www.wukongone.com,《悟空智慧教育》是一家专业的大数据视频教学网,专属定制您的未来。 

Htable参数设置——悟空智慧教育

原文:https://www.cnblogs.com/wukongone/p/11972713.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!