首页 文章

kafka Consumer升级到.9

提问于
浏览
0

嗨,我正在努力将kafka升级到.9,并将kafka消费者升级到以.9发布的新java消费者 . 升级时,我正在使用现有主题,步骤只是停止.8 kafka和启动.9 kafka指向相同的log.dirs,在消费者方面,我使用相同的组名和主题名称,但新的消费者从主题中的起始位置再次消耗消息 . 我已经将它们交给了.8 . 我正在添加auto.offset.reset = earliest .

知道为什么会发生这种情况或者我们需要首先使用.8消费者消费所有消息并让滞后变为0.谢谢Sunny

1 回答

  • 0

    虽然0.8消费者在Zookeeper中存储偏移量,但0.9消费者将它们存储在特定的Kafka主题中 . 因此,0.9消费者通常不会看到0.8消费者存储的任何偏移,因此将从开始消费 . 有一个FAQ可能有助于迁移偏移量 . 报价:

    1)升级您的代理并设置dual.commit.enabled = false和offsets.storage = zookeeper(仅向Zookeeper提交偏移) . 2)设置dual.commit.enabled = true和offsets.storage = kafka并重启(向Zookeeper和Kafka提交偏移) . 3)设置dual.commit.enabled = false和offsets.storage = kafka并重启(仅向Kafka提交偏移) .

    (没试过,只是引用 . )

相关问题