我试图在我的本地计算机(Windows 10)上使用kafka作为 生产环境 者,并在docker容器(ubuntu)上作为消费者使用火花流 . 我的示例在容器中一起工作,但我需要在本地计算机上创建流 .
我在主机(本地计算机)的2181端口运行zookeeper,在9092运行kafka服务器 .
我在9092创建一个代理来创建流(本地计算机)
producer = KafkaProducer(bootstrap_servers='localhost:9092') while True: message='Hola' producer.send(1,'test', message) time.sleep(1)
在容器的另一边,我正在听2181端口接收流 .
ssc = StreamingContext(sc, 5)
kvs = KafkaUtils.createStream(ssc, "127.0.0.1:2181", "spark-streaming-consumer", {'test': 1})
问题是我不知道如何链接两者(Windows Kafka和Ubuntu)
我希望你能帮助我 . 谢谢 .
1 回答
启动docker容器时,将端口8080暴露到8080和7077到7077,这可以通过在 docker run 命令中提供
-p 8080:8080 -p 7070:7070
来完成 .然后在kafka中,您可以使用localhost或127.0.0.1进行配置