首页 文章

从kafka 0.9读取消费者偏差的工具

提问于
浏览 次
1

我正在使用 Kafka 0.9 消费者API . 我需要检查给定使用者组和主题的消费者的当前偏移量，并且没有找到任何列出此信息的命令行工具 . 我尝试了以下命令

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group <group_name>

但这并未列出消费者，即使我有消费者在运行/投票 .

基于Kafka 0.9 new consumer api --- how to just watch consumer offsets似乎有这个命令行工具，但我不知道这是否适用于 Kafka 0.9 消费者 .

任何帮助，将不胜感激 .

apache-kafka kafka-consumer-api

1 回答

  • 5

    这对我有用：

    bin/kafka-consumer-groups.sh --new-consumer --describe --group ta-services --bootstrap-server localhost:9092

    并给出这样的结果：

    GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER
ta-services, modsec_logs, 0, 2, 2, 0, instance1-0_/127.0.0.1
ta-services, modsec_logs, 1, 9, 9, 0, instance1-0_/127.0.0.1
ta-services, modsec_logs, 2, 1, 1, 0, instance1-1_/127.0.0.1
ta-services, modsec_logs, 3, 1, 1, 0, instance1-1_/127.0.0.1

    请记住，此命令似乎仅在您的消费者处于活跃状态时才起作用 . 一旦你停止它 - 你将不会从命令获得任何输出 . 我认为这是0.9.x对0.8.x的偏移检查器的缺点之一 . 我找不到一种方法来检查0.9中的"dead"消费者的偏移量（通过脚本，无需手动读取_offsets ...主题的数据） - 如果有人知道如何做到这一点，请发布！

    回复于

相关问题