旧版本建议消费者连接zookeeper,新版本建议链接经纪人?来自社区的一位网友回复我说,旧版本的主题偏移是ZK,新版本是Kafka本身 . 这是这个答案的答案吗?
较旧版本的Kafka,即0.9版本之前存储与Zookeeper的偏移 .
较新版本的Kafka,在名为 __consumer_offsets 的内部Kafka主题中存储偏移量 .
较新的版本仍然提供了使用Zookeeeper存储偏移的可行性 .
有了这个,消费者现在只能与经纪人交谈,而不需要依赖Zookeeper .
如果有许多消费者同时从Kafka读取,ZooKeeper上的读写负载可能超过其容量,使ZooKeeper成为瓶颈 .
检查这个以获取更多信息
https://github.com/SOHU-Co/kafka-node/issues/502
1 回答
较旧版本的Kafka,即0.9版本之前存储与Zookeeper的偏移 .
较新版本的Kafka,在名为 __consumer_offsets 的内部Kafka主题中存储偏移量 .
较新的版本仍然提供了使用Zookeeeper存储偏移的可行性 .
有了这个,消费者现在只能与经纪人交谈,而不需要依赖Zookeeper .
如果有许多消费者同时从Kafka读取,ZooKeeper上的读写负载可能超过其容量,使ZooKeeper成为瓶颈 .
检查这个以获取更多信息
https://github.com/SOHU-Co/kafka-node/issues/502