首页 > 其他 > 详细

Zookeeper+Kafka完全分布式实战部署

时间:2018-11-10 00:40:29      阅读:205      评论:0      收藏:0      [点我收藏+]

                     Zookeeper+Kafka完全分布式实战部署

                                           作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

 

 

 

  其实我之前部署过kafak和zookeeper的完全分布式,集群是可以正常使用没错,但是在调优方案我做的很少,本次部署模拟我实际生成环境中的kafka版本zookeeper的一些调优措施,以及一些脚本管理等。

  

 

一.集群的调优方向

1>.调大zookeeper的heap内存,默认是1G,可以根据服务器大小配置其堆内存为2G或者4G足矣(kafka实时传输的数据如果达到PB级别的话,得观察一下YGC和FGC的值可以适当再次调大);

2>.修改kafka的副本数,默认的副本数是1,建议修改为2,如果副本数为2,那么容灾能力就是1,如果副本数3,则容灾能力就是2,当然副本数越多,可能会导致集群的性能下降,但是可靠性更强,各有利弊,我这里推荐副本数为2;

3>.推荐分区数,默认的分区数是1,理论上来说,parition的数量小于core的数量的话,值越大,kafka的吞吐量就越高,但是你必须得考虑你的磁盘IO的瓶颈,因此我不推荐你将分区数这只过大,我建议这个值可以在大于等于broker的数量,

 

二.部署zookeeper集群

 

 

三.部署kafka集群

 

Zookeeper+Kafka完全分布式实战部署

原文:https://www.cnblogs.com/yinzhengjie/p/9937816.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!