1.消费者用--bootstrap-server方式启动,消费的偏移量offset保存在broker的一个主题_consumer_offsets里,此主题默认50个分区。
2.zk中的version-2文件夹存储了关于kafka的一些数据。
3.server.properties里的log.dir项配置的是主题里的数据,而不是日志。日志文件夹会自动生成,无需配置。
4.kafka是基于发布订阅模式的消息中间件,由消费者根据自身的消费能力,主动拉取数据,需要维护一个长轮询。
5.不同分区数据的便宜量都是从0开始,没有一个全局的统一偏移量。
6.生产者分区原则。我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。
①指明 partition 的情况下,直接将指明的值直接作为 partiton 值;
②没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition数进行取余得到 partition 值;
③既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition值,也就是常说的 round-robin 算法。
7.ISR副本同步队列。ISR中包括leader和follower,如果leader进程挂掉,会在ISR队列中选择一个服务作为新的leader。通过replica.lag.max.messages(延迟条数) 和replica.lag.time.max.ms(延迟时间)两个参数决定一台服务是否可以加入ISR副本队列,在0.10版本移除了replica.lag.max.messages参数,防止服务频繁的进出队列。因为kafka的数据是批次发送的,倘若某一批的数据条数超过了replica.lag.max.messages,则所有ISR中的follower都会被移出ISR,而当它们同步完成后又都会加入ISR,导致频繁进出ISR。
8.
ack 应答机制。对于某些不太重要的数据,对数据的可靠性要求不是很高,能够容忍数据的少量丢失,所以没必要等 ISR 中的 follower 全部接收成功。所以 Kafka 为用户提供了三种可靠性级别,用户根据对可靠性和延迟的要求进行权衡,选择以下的配置。
acks 参数配置:
0:producer 不等待 broker 的 ack,这一操作提供了一个最低的延迟,broker 一接收到还没有写入磁盘就已经返回,当 broker 故障时有可能丢失数据;
1:producer 等待 broker 的 ack,partition 的 leader 落盘成功后返回 ack,如果在 follower同步成功之前 leader 故障,那么将会丢失数据;
-1(all):producer 等待 broker 的 ack,partition 的 leader 和 follower 全部落盘成功后才返回 ack。但是如果在 follower 同步完成后,broker 发送 ack 之前,leader 发生故障,那么会造成数据重复。特殊情况下,leader虽然有多个follower,但follower都不在ISR中,也会造成acks=1时的场景,leader落盘后就返回ack,造成数据丢失。
Kafka(v0.11) 知识点
原文:https://www.cnblogs.com/noyouth/p/12819810.html