首页 > 其他 > 详细

kafka unclean 配置代表啥,会对 spark streaming 消费有什么影响?

时间:2020-05-25 14:33:31      阅读:45      评论:0      收藏:0      [点我收藏+]

unclean.leader.election.enable 为true的话,意味着非ISR集合的broker 也可以参与选举,这样有可能就会丢数据,spark streaming在消费过程中拿到的 end offset 会突然变小,导致 spark streaming job挂掉。如果unclean.leader.election.enable参数设置为true,就有可能发生数据丢失和数据不一致的情况,Kafka的可靠性就会降低;而如果unclean.leader.election.enable参数设置为false,Kafka的可用性就会降低。

kafka unclean 配置代表啥,会对 spark streaming 消费有什么影响?

原文:https://www.cnblogs.com/programb/p/12906764.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!