我正在使用Flink的 FlinkKafkaConsumer09 ，我想知道kafka消费者的偏移存储在哪里？
FlinkKafkaConsumer09
我无法在Zookeeper中找到它们，也无法在Kafka的偏移主题中找到它们 . 此外，kafka-consumer-offset工具无法找到 .
这是由Flink内部处理的吗？
Flink并不完全依赖 Kafka 的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移 .
Flink使用Flink的分布式检查点机制消耗Kafka主题和定期检查点的数据 . 如果失败，Flink将从检查点目录恢复记录，并在此之后开始从Kafka偏移量中读取数据 .
在Flink中启用检查点以使用故障Kafka消费者非常重要 .
这是你如何做到的 .
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000); // checkpoint every 5000 msecs
1 回答
Flink使用Flink的分布式检查点机制消耗Kafka主题和定期检查点的数据 . 如果失败，Flink将从检查点目录恢复记录，并在此之后开始从Kafka偏移量中读取数据 .
在Flink中启用检查点以使用故障Kafka消费者非常重要 .
这是你如何做到的 .