首页 文章

Confluent 5.0.0 kafka connect hdfs sink：升级后无法描述kafka connect consumer group滞后

提问于
浏览 次
0

我们从Confluent 4.0.0升级到5.0.0，升级后我们无法列出kafka connect hdfs sink connector消费者滞后 .

$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --group connect-kconn_scribe_log_backend --describe
Note: This will not show information about old Zookeeper-based consumers.
$

是否在kafka 2.0 / confluent 5.0.0中对使用者组命令进行了任何修改？如何根据这种滞后跟踪我们需要提醒的滞后？我们的经纪人使用kafka 1.1.0版 . 升级后也无法在kafka manager中看到connect consumer组 . kafka connect没有问题，因为连接器能够写入hdfs . 谢谢 .

apache-kafka confluent

1 回答

  • 0

    Kafka Connect HDFS连接器不再提交偏移量，因此没有基于延迟计算的任何内容 .

    PS . 恢复基于文件命名约定是HDFS，文件名具有分区和偏移信息 .

    回复于

相关问题