Zookeeper+Kafka完全分布式实战部署
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
其实我之前部署过kafak和zookeeper的完全分布式,集群是可以正常使用没错,但是在调优方案我做的很少,本次部署模拟我实际生成环境中的kafka版本zookeeper的一些调优措施,以及一些脚本管理等。
一.集群的调优方向
1>.调大zookeeper的heap内存,默认是1G,可以根据服务器大小配置其堆内存为2G或者4G足矣(kafka实时传输的数据如果达到PB级别的话,得观察一下YGC和FGC的值可以适当再次调大);
2>.修改kafka的副本数,默认的副本数是1,建议修改为2,如果副本数为2,那么容灾能力就是1,如果副本数3,则容灾能力就是2,当然副本数越多,可能会导致集群的性能下降,但是可靠性更强,各有利弊,我这里推荐副本数为2;
3>.推荐分区数,默认的分区数是1,理论上来说,parition的数量小于core的数量的话,值越大,kafka的吞吐量就越高,但是你必须得考虑你的磁盘IO的瓶颈,因此我不推荐你将分区数这只过大,我建议这个值可以在大于等于broker的数量,
二.部署zookeeper集群
三.部署kafka集群
原文:https://www.cnblogs.com/yinzhengjie/p/9937816.html