我一直面临一个问题,Kafka集群上多个主题的一些分区在isr(同步副本)集中没有领导者甚至没有副本 .

这发生在特定经纪人ID的所有分区 - 5 .

topic: topic1   partition: 2        leader: -1  replicas: 5 isr:   
topic: topic1   partition: 8        leader: -1  replicas: 5 isr:  
topic: topic1   partition: 14   leader: -1  replicas: 5 isr:  
topic: topic2   partition: 1        leader: -1  replicas: 5 isr:  
topic: topic2   partition: 8        leader: -1  replicas: 5 isr:  
topic: topic2   partition: 15   leader: -1  replicas: 5 isr:  
topic: topic3   partition: 1        leader: -1  replicas: 5 isr:  
topic: topic3   partition: 8        leader: -1  replicas: 5 isr:  
topic: topic3   partition: 15   leader: -1  replicas: 5 isr:

我已经尝试过复制工具手动将代理分配给这些分区,但这没有帮助 . 因为他们都没有在isr集 .

不幸的是,这些主题的复制因子是1.但对于复制因子较高的主题,问题仍然存在 . 在那里,领导者已被分配到下一个首选副本,但是即使在很长时间(天)之后,腐败代理上的副本也不会移动到isr设置,并且分区的日志大小为100秒 .

topic: topic4   partition: 1    leader: 6   replicas: 5,6   isr: 6

对于同一主题,领导者不是经纪人5(损坏的经纪人)那里的经纪人5的分区仍处于设置状态 .

topic: topic4   partition: 0    leader: 4   replicas: 4,5   isr: 4,5

另一个观察结果是,损坏的代理在其INFO日志中有主题创建日志,每分钟都经常打印

[2014-12-09 13:07:27,878] INFO Topic creation { "partitions":{ "0":[ 4, 3 ], "1":[ 5, 4 ] }, "version":1 } (kafka.admin.AdminUtils$)

虽然没有在群集上创建新主题 .

有没有人遇到过类似的问题?我该如何解决?

Kafka 版本0.8.1