首页 文章

向主机Kafka服务器生成消息时出现容器化的Kafka客户端错误

提问于
浏览 次
5

stackoverflow上有许多类似的查询类型，但没有一个与我看到的问题完全匹配 .

我的服务器上有一个zookeeper / kafka设置，可以很好地工作 . 一个人可以 生产环境

bin/kafka-console-producer.sh --broker-list 192.168.2.80:9092 --topic test

和消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.80:9092 --topic test --from-beginning

本地在Linux Ubuntu 16.04服务器上 .

从Docker容器 - 也运行Ubuntu 16.04 - 我想 生产环境 和消费 . 容器的Kafka代码是从服务器上复制的 . 首先，我可以创建一个新主题

bin/kafka-topics.sh --create --zookeeper 192.168.2.80:2181 --replication-factor 1 --partitions 1 --topic test2

从容器中再次列出它

bin/kafka-topics.sh --list --zookeeper 192.168.2.80:2181

但是，当我尝试使用上面的（kafka-console-producer.sh）命令生成新消息时，它失败并显示以下消息：

[2017-06-05 13:59:05,317] ERROR Error when sending message to topic test2  with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test2-0: 1526 ms has passed since batch creation plus linger time

输入消息文本后立即按Enter键 .

在同一主机上运行Docker容器似乎很奇怪，但是一旦这个工作，我将把容器移动到一个单独的主机进行 生产环境 .

我的kafka server.properties文件：

listeners=PLAINTEXT://0.0.0.0:9092

Kafka 版：

2.12-0.10.2.1

Docker版本：

Docker version 1.12.6, build 78d1802
docker apache-kafka

3 回答

  • 0

    啊哈！经过进一步阅读和上面给出的答案，解决方案来了 . 通常情况下这很简单 . kafka server.properties文件的简单编辑：

    advertised.listeners=PLAINTEXT://192.168.2.80:9092

    另请注意，此文件中未设置参数“侦听器” .

    回复于
  • 11

    问题是（略微简化）由Kafka的协议如何工作引起的 . 给定一个"bootstrap servers"列表（例如 localhost:9092 ），Kafka客户端将联系这些引导服务器，但随后使用引导服务器返回的实际Kafka代理的主机名（代理的 advertised.listeners 配置，取决于您的Kafka / Docker设置，可能设置为例如 kafka:9092 ） . 所以在这里，客户端将与 localhost:9092 进行自举（这将起作用），但随后切换到 kafka:9092 （这将不起作用，"thanks"到网络设置） .

    幸运的是，有一种方法可以以"just works"的方式配置Kafka Docker，而且它没有't require shenanigans such as fiddling with your host' s /etc/hosts 文件等 . 作为其中的一部分，您需要设置一些（新的）Kafka设置，这些设置已添加到kafka的KIP-103: Separation of Internal and External traffic中 .

    这是Docker Compose（ docker-compose.yml ）的一个片段，演示了如何执行此操作：

    ---
version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:3.2.1
    hostname: zookeeper
    ports:
      - '32181:32181'
    environment:
      ZOOKEEPER_CLIENT_PORT: 32181

  kafka:
    image: confluentinc/cp-kafka:3.2.1
    hostname: kafka
    ports:
      - '9092:9092'
      - '29092:29092'
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      # Following line is needed for Kafka versions 0.11+
      # in case you run less than 3 Kafka brokers in your
      # cluster because the broker config
      # `offsets.topic.replication.factor` (default: 3)
      # is now enforced upon topic creation
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

    这里的关键设置是：

    • listener.security.protocol.map （通过 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP 设置）

    • inter.broker.listener.name

    • advertised.listeners

    在上面的设置中，容器化的Kafka代理监听 localhost:9092 以从您的主机（例如您的Mac笔记本电脑）和 kafka:29092 进行访问，以便从其他容器进行访问 .

    完整的端到端示例位于：https://github.com/confluentinc/cp-docker-images/blob/v3.2.1/examples/kafka-streams-examples/docker-compose.yml（文档http://docs.confluent.io/3.2.1/cp-docker-images/docs/tutorials/kafka-streams-examples.html） .

    回复于
  • 0

    您的 生产环境 者（在容器中）无法解析在Kafka 生产环境 者初始元数据请求中返回到引导服务器的Linux来宾操作系统的主机名 . 您可以手动将其添加到容器内的/ etc / hosts文件中，或者将“--add-host”参数添加到docker run命令中，该命令将启动运行 生产环境 者的映像

    回复于

相关问题