我是 Kafka 的新手 . 我有一个节点Kafka经纪人(v 0.10.2)和一个zookeeper(3.4.9) . 我正在使用新的Kafka Consumer API . 我观察到的一件奇怪的事情是,当我为多个主题启动多个Kafka消费者时放置在一个组中,然后点击./kafka-consumer-groups.sh该组的脚本 . 很少有消费者加入该群体,但他们不消费任何消息 . 以下是group命令的统计信息 .
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST
topic1 0 288 288 0 consumer-8-c9487cd3-573b-4c97-87c1-ddf2063ab5ae /<serverip> consumer-8
topic1 1 283 283 0 consumer-8-c9487cd3-573b-4c97-87c1-ddf2063ab5ae /<serverip> consumer-8
topic1 2 279 279 0 consumer-8-c9487cd3-573b-4c97-87c1-ddf2063ab5ae /<serverip> consumer-8
topic2 0 - 9 - consumer-1-b0476dc8-099c-4a62-a68c-e9dc9c0a5bed /<serverip> consumer-1
topic2 1 - 2 - consumer-1-b0476dc8-099c-4a62-a68c-e9dc9c0a5bed /<serverip> consumer-1
topic3 0 450 450 0 consumer-3-63c07703-17d0-471b-8c5f-17347699f108 /<serverip> consumer-3
topic4 1 - 54
- consumer-2-94dcc209-8377-45ce-8473-9ab0d85951c4 /<serverip>
topic2 2 441 441 0 consumer-5-bcfffc99-5915-41f4-b3e4-970baa204c14 /<serverip>
所以有人可以帮助我,为什么主题 topic2 分区0 current-offset 正在显示 - 并且 lag 正在显示 - 但是消息仍然在服务器中,因为 LOG-END-OFFSET 显示9 .
这种情况经常发生,重新启动消费者会暂时解决问题 .
任何帮助将不胜感激 .