我有一个多节点kafka集群,我能够成功创建主题,这在zookeeper日志中很清楚 . 但我无法发送/接收来自某些主题的消息,即使它们已创建 .

此外,我没有在3个节点的任何kafka代理中的/ tmp / kafka-logs目录中看到为其中一些主题创建的日志 .

例如:如果我创建了Topic1 ... Topic5 . 我能够发送和接收topic3,topic4的消息 . 我让我的 生产环境 者和消费者在node1中运行 . 不知道我在这里做错了吗?

在制片人方面:

private Properties producerConfig() {
  Properties props = new Properties();
  props.put("bootstrap.servers", "host1:9092,host2:9092,host3:9092");
  props.put("acks", "all");
  props.put("retries", 0);
  props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
  props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

return props;
}

在消费者方面:

private Properties createConsumerConfig(String zookeeper, String groupId) {
        Properties props = new Properties();
        props.put("zookeeper.connect", "host1:2181,host2:2181,host3:2181");
        props.put("group.id", groupId);
        props.put("auto.commit.enable", "false");
        props.put("auto.offset.reset", "smallest");

        return props;
      }

多节点群集设置:

我已使用以下说明设置多节点群集 .

Host1 :: zk1,kafkabroker1
Host2 :: zk2,kafkabroker2
Host3 :: zk3,kafkabroker3

https://itblog.adrian.citu.name/2014/01/30/how-to-set-an-apache-kafka-multi-node-multi-broker-cluster/