自动
首先要想自动维护偏移量 那么 "enable.auto.commit" -> (true: java.lang.Boolean)
SparkStreaming 在和kafka建立直连后先去 topic(__consumer_offsets) 查找是否存储过偏移量,如果是首次运行 ,没有记录过偏移量,按照读取最新或者最旧的数据,
自动偏移量维护kafka 0.10 之前的版本是维护在zookeeper中的,kafka0.10以后的版本是维护在kafka中的topic中的
手动
原文:https://www.cnblogs.com/JBLi/p/11367735.html