首页 文章

与Fafka 1.1.0的Apache Flink 1.3.2连接问题

提问于
浏览
0

我正在使用Apache Flink 1.3.2集群 . 我们正在使用Kafka消息,并且自从将代理升级到1.1.0(从0.10.2开始)后,我们经常在日志中注意到这个错误:

ERROR o.a.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase  - Async Kafka commit failed.
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing offsets.
Caused by: org.apache.kafka.common.errors.DisconnectException: null

由于这个原因,我们有时会在处理过程中遇到丢失我们在工作中使用FlinkKafkaConsumer010 .

检查点已启用(间隔10秒,超时1分钟,检查点之间的最小暂停5秒,最大并发检查点1. E2E持续时间平均低于1秒,甚至我也不到半秒 . )与Kafka 0.10使用相同的设置 . 2我们没有这个例外 .

更新:我们重新安装了Kafka,现在我们收到了一条警告消息,但仍未读取任何事件

WARN  o.a.flink.streaming.connectors.kafka.internal.Kafka09Fetcher  - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity.

1 回答

  • 1

    事实证明这是由我们在AWS中遇到的一些连接问题引起的 . 该框架适用于Kafka 1.1

相关问题