我们正在使用Kafka测试 生产环境 者和消费者 . 几个问题:
当所有经纪人都倒闭而他们根本没有回应时会发生什么?
制片人是否需要继续ping Kafka经纪人以了解它何时在线备份?或者是否有更优雅的方式让Producer应用程序知道?
Zookeeper如何帮助这一切?如果ZK也失败怎么办?
如果所有经纪人都完成了,那么你的集群当然不会得到任何东西 . 我认为制作人也会失败,因为动物园管理员的心脏位不会被接收 . 我敢肯定,如果zookeeper关闭,你的系统将不再起作用 . 这是 Kafka 的弱点之一,他需要动物园管理员才能工作 .
如果一个或多个经纪人关闭, 生产环境 者将重新尝试一段时间(根据设置) . 在此期间,一个或多个消费者将无法阅读任何内容,直到相应的经纪人开始 .
但是,如果群集关闭的时间比您的总重试时间长,那么您可能需要找到一种方法再次重新发送这些失败的消息 .
这是Kafka Mirroring(MirrorMaker工具)出现的一个场景 .
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330
3 回答
如果所有经纪人都完成了,那么你的集群当然不会得到任何东西 . 我认为制作人也会失败,因为动物园管理员的心脏位不会被接收 . 我敢肯定,如果zookeeper关闭,你的系统将不再起作用 . 这是 Kafka 的弱点之一,他需要动物园管理员才能工作 .
如果一个或多个经纪人关闭, 生产环境 者将重新尝试一段时间(根据设置) . 在此期间,一个或多个消费者将无法阅读任何内容,直到相应的经纪人开始 .
但是,如果群集关闭的时间比您的总重试时间长,那么您可能需要找到一种方法再次重新发送这些失败的消息 .
这是Kafka Mirroring(MirrorMaker工具)出现的一个场景 .
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330