首页 文章

Logstash kafka输入插件无法使用新使用者读取任何消息并将auto_offset_reset设置为最早

提问于
浏览
0

我正在使用Logstash Kafka输入插件来读取主题中的消息 . 我之前能够启动属于新的消费者群体的新消费者,并且通过设置auto_offset_reset = earliest能够使用主题开头的消息 .

Plugin configuration:

input {     
    kafka {         
    bootstrap_servers => "localhost:9092"
        topics => ["test_topic"]
        group_id => "new_consumer"
        client_id => "new_consumer"
        consumer_threads => 1
        auto_offset_reset => "earliest"   
  } 
}

但现在我注意到一种奇怪的行为 . 即使这是属于新的消费者群体的新消费者,并且auto_offset_reset设置为'最早',我也无法消费任何消息 .

Enabled debug logs are following is the behaviour: 它清楚地显示消费者没有先前的偏移量,并且突然获取分区偏移量并且消费者使用它并设置其新的偏移量(请注意:先前从主题中读取36387消息,因此下面的日志中的数字)

[2016-12-22T16:45:13,454] [INFO] [org.apache.kafka.clients.consumer.internals.AbstractCoordinator]成功加入第1代的new_consumer组[2016-12-22T16:45:13,455] [INFO ] [org.apache.kafka.clients.consumer.internals.ConsumerCoordinator]为组new_consumer设置新分配的[test_topic-0] [2016-12-22T16:45:13,456] [DEBUG] [org.apache.kafka.clients .consumer.internals.ConsumerCoordinator]分组new_consumer获取分区的已提交偏移量:[test_topic-0] [2016-12-22T16:45:13,544] [DEBUG] [org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] Group new_consumer没有为分区提交的偏移量test_topic-0 [2016-12-22T16:45:13,544] [DEBUG] [org.apache.kafka.clients.consumer.internals.Fetcher]将分区test_topic-0的偏移重置为最早的偏移量 . [2016-12-22T16:45:13,546] [DEBUG] [org.apache.kafka.clients.NetworkClient]在localhost:9092处启动与节点0的连接 . [2016-12-22T16:45:13,657] [DEBUG] [logstash.instrument.collector]收集器:向观察者发送快照{:created_at => 2016-12-22 16:45:13 -0800} [2016-12- 22T16:45:13,741] [DEBUG] [org.apache.kafka.common.metrics.Metrics]添加名为node-0.bytes-sent的传感器[2016-12-22T16:45:13,741] [DEBUG] [org . apache.kafka.common.metrics.Metrics]添加名为node-0.bytes-received的传感器[2016-12-22T16:45:13,741] [DEBUG] [org.apache.kafka.common.metrics.Metrics]添加了传感器名称为node-0.latency [2016-12-22T16:45:13,742] [DEBUG] [org.apache.kafka.clients.NetworkClient]已完成与节点0的连接[2016-12-22T16:45:13,901] [DEBUG ] [org.apache.kafka.clients.consumer.internals.Fetcher]获取分区test_topic-0的偏移36387 [2016-12-22T16:45:18,050] [DEBUG] [org.apache.kafka.clients.consumer.internals .ConsumerCoordinator] Group newconsumer承诺偏移36387 for partition test_topic-0 [2016-12-22T16:45:18,563] [DEBUG] [org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] Group newconsumer为分区test_topic-0提交了偏移量36387

谁能告诉我为什么我们看到这种行为?

1 回答

  • 1

    是否已根据配置的保留期删除旧邮件?可能是偏移量36387是最早的偏移量,并且所有早期消息都已过期 . 默认保留期为7天 .

相关问题