首页 文章

Apache kafka:经纪人领导者-1(通过 Cygnus 从 Orion 收到的主题)

提问于
浏览
2

我正在使用 Apache Kafka 并通过 Cygnus(Fiware Labs)从 Orion Context Broker 接收主题

我收到 10 个主题,我可以看到 8 个主题的消费者控制台中的数据。

但对于其他 2 个主题,我看不到任何数据到达。并且没有错误代码(消费者只是空的)。如果我尝试通过生产者控制台向主题添加测试行,我会收到此错误:

ERROR Error when sending message to topic sensors_presence2_sensors with key: null, value: 4 bytes with error: Batch Expired (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)

所以我使用了 describe 命令,我得到了这个:

Topic:sensors_presence2_sensors PartitionCount:1    ReplicationFactor:1 Configs:
Topic: sensors_presence2_sensors    Partition: 0    Leader: -1  Replicas: 2 Isr:

我刚刚开始使用 Kafka,所以目前我有 1 broker(0)并且没有分区。但为什么我的领导人-1?这个经纪人甚至不存在。我怎么能改变呢?我没有为我的主题选择配置,他们使用 OrionKafkaSink 自动从 Cygnus(Orion Context Broker)到达。

8 个主题之一的一个例子,效果很好:

Topic:sensors_presence1_sensors PartitionCount:1    ReplicationFactor:1 Configs:
Topic:sensors_presence1_sensors Partition: 0    Leader: 0   Replicas: 0 Isr: 0

谢谢

编辑:在 Cygnus 日志中,它显示数据已正确发送到 kafka:

time=2016-03-02T11:07:09.504UTC | lvl=INFO | trans=1456915468-194-0000000039 | srv=egmmqtt | subsrv=egmmqttpath | function=persistAggregation | comp=Cygnus | msg=com.telefonica.iot.cygnus.sinks.OrionKafkaSink[279] : [kafka-sink] Persisting data at OrionKafkaSink. Topic (sensors_presence2_sensors), Data (...

1 回答

  • 0

    describe 命令的结果显示 Replicas:2 和 Isr :(为空),这意味着在创建该主题时,id 为 2 的代理处于活动状态,同一 broker(id=2)现在不活动。因为 Isr(In sync replicas)显示为空。

    当你只有一个节点(broker-id=0)kafka 集群时,没有机会获得 Replicas:2。使 broker-2 上升,一切都会运作良好。

    希望这可以帮助!

相关问题