首页 > 其他 > 详细

Flume 中Sink批量参数设置调优

时间:2014-03-11 09:00:00      阅读:424      评论:0      收藏:0      [点我收藏+]

     在Flume 配置中,Sink的参数batchSize影响到整个流程的性能。比如说HDFS sink,它的参数称hdfs.batchSize,这样称呼是由于历史的原因,建议使用hdfs.txnEvenMax。 在sink端调优批量值设置,它依赖于相应的隧道(channel)的事务容量。sink端的批量大小应该小于或者等于channel端的事务容量,而事务容量应该设置为实际需要的最大值(channel端)。下列列举了一下优化的sink批量参数值设置。

槽类型(Sink Type 配置参数(Config parameter) 类型值(Typical value)
Avro batch-size 100
HDFS hdfs.batchSize, hdfs.txnEventMax 1000
HBaseSink batchSize 100
AsyncHBaseSink batchSize 100


Flume 中Sink批量参数设置调优,布布扣,bubuko.com

Flume 中Sink批量参数设置调优

原文:http://blog.csdn.net/john_f_lau/article/details/20870295

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!