KafKa使用笔记

 1 ## KafKa使用笔记
 2 
 3 #### 快速开始
 4 
 5 关闭防火墙
 6 
 7 版本：kafka_2.12-1.0.0.tgz
 8 
 9 zookeeper集群：hdp1,hdp2,hdp3
10 
11 Kafka集群搭建：hdp1,hdp2,hdp3    
12 
13 ##### 一、配置文件
14 
15 在hdp1下：
16 
17 vim    kafka_2.12-1.0.0/config --> server.properties
18 
19 broler.id=0    标志当前机器在集群中的唯一标识
20 
21 listeners=PLAINTEXT://192.168.182.146:9092    提供的地址
22 
23 log.dirs=/opt/kafka_2.12-1.0.0/kafkaLogs
24 
25 zookeeper.connect=192.168.182.146:2181,192.168.182.147:2181,192.168.182.148:2181
26 
27 *可选配置   message.max.byte=5242880
28                     default.replication.factor=2     集群保存消息的副本数
29                     replica.fetch.max.bytes=5242880    取消息的最大字节数*
30 
31 将kafka复制到hdp2和hdp3，
32 
33 更改hdp2和hdp3中broler.id，listeners，使id唯一，listener对应各节点ip    
34 
35 ##### 二、启动服务
36 
37 各节点执行：
38 ./kafka-server-start.sh -daemon ../config/server.properties
39 
40 创建topic:
41 [root@node1 bin]# ./kafka-topics.sh --create --zookeeper 192.168.182.147:2181 --replication-factor 2 --partitions 1 --topic test
42 
43 查看topic列表：
44 [root@hdp1 bin]# ./kafka-topics.sh --list --zookeeper 192.168.182.147:2181
45 
46 生产者：
47 [root@hdp1 bin]# ./kafka-console-producer.sh --broker-list 192.168.182.146:9092 --topic test
48 
49 ```shell
50 ./kafka-console-producer.sh --broker-list 192.168.182.147:9092,192.168.182.148:9092,192.168.182.149:9092 --topic test
51 ```
52 
53 
54 
55 消费者：
56 [root@hdp2 bin]#./kafka-console-consumer.sh --bootstrap-server 192.168.182.147:9092 --topic test --from-beginning
57 
58 查看topic信息：
59 [root@hdp1 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.182.146:2181 --topic test
60 
61 #### 常见问题
62 
63 当生产者消费者出现连接失败时，统一配置文件中地址和生产者消费者启动时的broker地址，或统一为ip形式，或hostname,或localhost
64 
65 #### 深入剖析