构建kafka集群

 本文档是在本机上构建多节点的kafka集群

standalone版的请参考

https://www.cnblogs.com/pageBlog/p/11379364.html

1. 首先将配置文件拷贝多份

cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.properties

2. 修改对应的配置文件

3. 启动这两个节点

bin/kafka-server-start.sh config/server-1.properties &

bin/kafka-server-start.sh config/server-2.properties &

4. 创建一个新话题

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

5. 查看话题详细信息：bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

6. 可以看下我们单节点创建的话题有什么区别：bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

7. 发布一些信息：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

8. 消费消息：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

9. 进行容错测试，由于之前查看详细信息的时候，server1是主节点，所以这里干掉server1

10. 再次查看，发现已经切到节点0为主节点了：bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

11. 消费信息，还是可以获取到：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

参考文档：

http://kafka.apache.org/quickstart

构建kafka集群

原文：https://www.cnblogs.com/pageBlog/p/11379666.html