我有一个flink流媒体作业，它正在从kafka读取数据并只记录它 . 我启用了检查点 .
我无法在 Kafka 中看到提交的偏移量，而是在低于误差 .
任何帮助都很受欢迎 .
{$KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group flink-consumer-group
Error while executing consumer group command Group flink-consumer-group with protocol type '' is not a valid consumer group
java.lang.IllegalArgumentException: Group flink-consumer-group with protocol type '' is not a valid consumer group
at kafka.admin.AdminClient.describeConsumerGroup(AdminClient.scala:152)
at kafka.admin.ConsumerGroupCommand$KafkaConsumerGroupService.describeGroup(ConsumerGroupCommand.scala:308)
at kafka.admin.ConsumerGroupCommand$ConsumerGroupService$class.describe(ConsumerGroupCommand.scala:89)
at kafka.admin.ConsumerGroupCommand$KafkaConsumerGroupService.describe(ConsumerGroupCommand.scala:296)
at kafka.admin.ConsumerGroupCommand$.main(ConsumerGroupCommand.scala:68)
at kafka.admin.ConsumerGroupCommand.main(ConsumerGroupCommand.scala)}
版本
kafka_2.11-0.10.1.0 (server with) flink-connector-kafka-0.10_2.11
2 回答
因此我认为默认情况下flink会在chekpointing上将偏移提交给kafka，因为默认情况下值FlinkKafkaConsumer#setCommitOffsetsOnCheckpoints为true .
不幸的是，通过kafka-offset checker cli看不到这些偏移 .
我们实现了一个scala kafka消费者，该消费者连接到具有相同消费者群体的kafka，但没有订阅该主题以从kafka获得抵消 .
注意：从Kafka 0.9版消费者Flink Kafka开始导出所有标准指标，请参阅documentation .
Flink通过它自己处理偏移 . 提交给kafka（或旧版本或设置中的zookeeper）的偏移量或多或少仅用于您的信息或用于监视目的 .
您的错误看起来像是混合了不同的kafka版本（代理版本与客户端版本） . 也许你可以仔细检查一下 .