我有Kafka 0.11.0.0的问题
当我创建新主题时，将数据放入其中并使用java使用者使用它，在重新启动我的使用者组的Kafka 0.11.0.0偏移消失后 . 主题停留并且其中包含相同的数据，只有偏移被清除 . 这使消费者再次从主题下载所有记录 . 奇怪的是，只有一个主题有旧的，正确的偏移，所有其他偏移都被删除了，可能是因为那个主题已经存在了一段时间 .
我使用commitSync（）提交所有消耗的记录 . 然后将偏移保存在我的代理上，我可以重新启动我的java使用者，它从正确的偏移量开始，但在重新启动整个Kafka之后，使用者组的偏移重置为0.我在使用kafka-consumer-groups.sh重新启动之后检查当前提交脚本，绝对是重置它们的经纪人 .
我在 Kafka 0.10.2.1中没有遇到任何问题 . 我只在0.11.0.0版本中遇到此问题 .
我的消费者将auto.offset.reset设置为最早，自动提交设置为false，因为我手动提交 . Kafka数据存储在具有必要权限的非tmp目录中 . 其余的代理配置是默认的 .
我需要0.11.0.0版本的交易 . 我不知道问题出在哪里 . 这可能是什么原因？我错过了某个新的配置参数吗？
@Edit保留的主题也存在偏移问题，但它没有完全清除，但重启后的偏移量不正确，消费者在每次重启后都会获得约15％的数据 .
@ Edit2有时但不总是我的server.log充满：
WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. This implies messages have arrived out of order. New: {epoch:4, offset:1669}, Current: {epoch:5, offset1540} for Partition: __consumer_offsets-26 (kafka.server.epoch.LeaderEpochFileCache)
由于另一个日志，它似乎已连接到我的使用者组：
[2017-08-22 08:59:30,719] INFO [GroupCoordinator 0]: Preparing to rebalance group scrapperBackup with old generation 119 (__consumer_offsets-26) (kafka.coordinator.group.GroupCoordinator)
[2017-08-22 08:59:30,720] INFO [GroupCoordinator 0]: Group scrapperBackup with generation 120 is now empty (__consumer_offsets-26) (kafka.coordinator.group.GroupCoordinator)
在重启时总会出现类似这样的日志：
[2017-08-22 09:15:37,948] INFO Partition [__consumer_offsets,26] on broker 0: __consumer_offsets-26 starts at Leader Epoch 6 from offset 1699. Previous Leader Epoch was: 5 (kafka.cluster.Partition)
@ Edit3为Kafka / Zookeeper数据创建新目录并从头开始创建所有内容 . 我不知道是什么问题，但它现在正常工作 . 似乎应用程序的数据目录中发生了一些错误 .
1 回答
如果您遇到此问题，请下载Kafka的新版本0.11.0.1 . 该版本修复了此问题 .
这解释了这个错误：https://issues.apache.org/jira/browse/KAFKA-5600