我正在使用 Apache Kafka 并通过 Cygnus(Fiware Labs)从 Orion Context Broker 接收主题
我收到 10 个主题,我可以看到 8 个主题的消费者控制台中的数据。
但对于其他 2 个主题,我看不到任何数据到达。并且没有错误代码(消费者只是空的)。如果我尝试通过生产者控制台向主题添加测试行,我会收到此错误:
ERROR Error when sending message to topic sensors_presence2_sensors with key: null, value: 4 bytes with error: Batch Expired (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
所以我使用了 describe 命令,我得到了这个:
Topic:sensors_presence2_sensors PartitionCount:1 ReplicationFactor:1 Configs:
Topic: sensors_presence2_sensors Partition: 0 Leader: -1 Replicas: 2 Isr:
我刚刚开始使用 Kafka,所以目前我有 1 broker(0)并且没有分区。但为什么我的领导人-1?这个经纪人甚至不存在。我怎么能改变呢?我没有为我的主题选择配置,他们使用 OrionKafkaSink 自动从 Cygnus(Orion Context Broker)到达。
8 个主题之一的一个例子,效果很好:
Topic:sensors_presence1_sensors PartitionCount:1 ReplicationFactor:1 Configs:
Topic:sensors_presence1_sensors Partition: 0 Leader: 0 Replicas: 0 Isr: 0
谢谢
编辑:在 Cygnus 日志中,它显示数据已正确发送到 kafka:
time=2016-03-02T11:07:09.504UTC | lvl=INFO | trans=1456915468-194-0000000039 | srv=egmmqtt | subsrv=egmmqttpath | function=persistAggregation | comp=Cygnus | msg=com.telefonica.iot.cygnus.sinks.OrionKafkaSink[279] : [kafka-sink] Persisting data at OrionKafkaSink. Topic (sensors_presence2_sensors), Data (...
1 回答
describe 命令的结果显示 Replicas:2 和 Isr :(为空),这意味着在创建该主题时,id 为 2 的代理处于活动状态,同一 broker(id=2)现在不活动。因为 Isr(In sync replicas)显示为空。
当你只有一个节点(broker-id=0)kafka 集群时,没有机会获得 Replicas:2。使 broker-2 上升,一切都会运作良好。
希望这可以帮助!