我们在Kubernetes中运行Kafka集群,基于 gcr.io/google_containers/kubernetes-kafka:1.0-10.2.1 docker镜像与zookeeper后端使用 gcr.io/google_containers/kubernetes-zookeeper:1.0-3.4.10 ,其中包含kafka和zookeeper三个实例 .

我们有一些不同的消费者群体,他们消费和生成三个不同主题的数据 .

Behaviour: 有时,使用者组会将分区上某个主题的偏移量设置为-1,然后一直停止使用该主题 . 如果我们重新启动消费者,我们可能会看到他们将偏移量设置为最新的偏移量,这可能意味着消费者在转到-1和重新启动之间的时间内错过了消息 .

我有问题找到为什么消费者群体会将其偏移量设置为-1以及为什么它会在正常运行几天后“随机”地这样做 . 有没有合理的解释为什么 Kafka 会为某个消费者设置这种抵消?在我们的实际消费者中看不到任何表明他们明确这样做的事情 .

我们目前的消费者都在 golangNode.js 中运行,所有人都面临这个问题,因此我们目前的假设是这个问题与我们的消费者无关,而是与我们的Kafka设置有关 .