我们正在使用Kafka流将数据写入接收器主题 . 我正在运行avro-consumer命令行来检查sink主题中是否有数据:
bin / kafka-avro-console-consumer --topic sink.output.topic --from-beginning --new-consumer --bootstrap-server
我在kafka流应用程序运行时同时运行消费者时看到数据,但如果我停止消费者并在几分钟后再次运行,我看不到任何数据 . 几种可能性:
1)这是因为kafka流每次将记录推送到下沉时都会从输出主题中删除记录吗?
2)或者这仅仅是与消费者有关的问题?
1 回答
我相信这是因为
--from-beginning
仅在消费者尚未 Build 抵消时使用 . 您是否尝试使用--offset earliest
?