首页 文章

将Zookeeper Offset详细信息迁移到Kafka

提问于
浏览
0

我们使用的是先前版本的Kafka(0.8.X),其中所有偏移细节都存储在ZooKeeper中 . 现在我们转移到新版本的Kafka(0.10.X),其中所有主题偏移细节都存储在Kafka本身 . 我们必须将所有主题偏移细节移动到ZooKeeper到Kafka以用于 生产环境 中的现有应用程序 . Kafka安装在Windows机器上 . 我们无法从windows运行kafka-consumer-groups.sh . 请建议如何将已提交的偏移量从ZooKeeper迁移到Kafka .

1 回答

  • 0

    https://kafka.apache.org/documentation/#offsetmigration

    早期版本中的Kafka消费者默认在ZooKeeper中存储其偏移量 . 可以通过以下步骤迁移这些使用者以将偏移提交到Kafka:在您的使用者配置中设置offsets.storage = kafka和dual.commit.enabled = true . 对您的消费者进行滚动反弹,然后验证您的消费者是否 Health . 在您的消费者配置中设置dual.commit.enabled = false . 对您的消费者进行滚动反弹,然后验证您的消费者是否 Health . 如果设置offsets.storage = zookeeper,也可以使用上述步骤执行回滚(即,从Kafka迁移回ZooKeeper) .

    我的猜测是“滚动反弹”意味着滚动重启 . 不确定它可能意味着什么,在这种情况下它是有道理的 .

相关问题