首页 文章

多个群集Kafka设置

提问于
浏览
0

我想设置一个带有大约3个zookeeper实例的多个kafka集群,每个集群中有3个kafka代理,每个kafka代理有大约5个主题和5个分区 . 我可以参考哪些设置指南?

PS:我可以找到具有多个Kafka代理的Single zookeeper实例的信息,但不能查找具有多个zookeeper实例的设置 .

1 回答

  • 0

    您应该能够找到初学者指南,但我们发现Apache Kafka documentation包含您可能遇到的所有问题的答案 . 总的来说,我们经历了 Kafka 设置过程中的无痛 .

    Zookeeper实例的数量应为奇数且> = 3.使用1个Zookeeper实例,您只有一个故障点 .

    顺便说一句,每个主题5个分区似乎很低 . 您始终可以增加分区数 . 更多的分区允许使用更多的消费者,但也需要消费者进程的更多内存使用,因为消费者在他们拥有的每个分区中缓冲一定数量的Kafka消息 . 作为参考,我们使用类似的设置,每个主题使用60个分区 .

相关问题