首页 > 其他 > 详细

kafka 直连 自动和手动记录

时间:2019-08-17 14:09:04      阅读:111      评论:0      收藏:0      [点我收藏+]

 

 自动

首先要想自动维护偏移量  那么 "enable.auto.commit" -> (true: java.lang.Boolean)

SparkStreaming 在和kafka建立直连后先去  topic(__consumer_offsets) 查找是否存储过偏移量,如果是首次运行 ,没有记录过偏移量,按照读取最新或者最旧的数据,

技术分享图片

 

 

自动偏移量维护kafka 0.10 之前的版本是维护在zookeeper中的,kafka0.10以后的版本是维护在kafka中的topic中的

 

技术分享图片

 

 

 

 

 

 

手动

kafka 直连 自动和手动记录

原文:https://www.cnblogs.com/JBLi/p/11367735.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!