首页 > 其他 > 详细

kafka broker Leader -1引起spark Streaming不能消费 已解决

时间:2019-06-22 09:38:21      阅读:314      评论:0      收藏:0      [点我收藏+]
一、问题描述:

Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了,并且系统起不来了,使得线上的spark Streaming实时任务不能正常消费,重启实时任务都不行。查看kafka topic状态,发现broker Leader出现-1的情况,如下图
技术分享图片

二、问题分析

Kafka Broker Leader 为-1,表示有partition在选举Leader的时候失败了,因此引起了消费该Topic的实时任务都出现了异常,经过排除发现挂掉的cdh-003机器正好是broker id为257。(但为何192没有被选举为leader呢??)

?

三、解决方法:修改kafka元数据,手动指定kakfa Leader。

kafka partition状态信息存在Zookeeper上,我的环境目录是 /kafka/brokers/topics/,具体操作如下:

1、查看leader为-1的partition状态

[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":-1,"version":1,"leader_epoch":96,"isr":[257]}

2、强制修改partition leader为192

[zk: localhost:2181(CONNECTED) 3] set /kafka/brokers/topics/mds001/partitions/1/state {"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

3、查看修改是否成功

[zk: localhost:2181(CONNECTED) 4] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

[zk: localhost:2181(CONNECTED) 5]
技术分享图片

4、重启Kafka服务 (必须重启,我最开始就是没有重启,使得SS消费依然不正常)

5、重启Spark Streaming实时任务,此时消费正常,则完美解决

kafka broker Leader -1引起spark Streaming不能消费 已解决

原文:https://blog.51cto.com/14309075/2411809

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!