在研究和测试 Kafka 时，出现了一个疑问：
当 everything is down 时， Kafka 如何处理 production of records ？
我知道 Consumers 有一个 timeout on polls ，它会不时地为新记录进行轮询， until Kafka is back online .
我也知道 Producers 有一个添加到的队列 . 这是 queue that pushes content to kafka ，但是如果整个Kafka集群出现故障会怎样？
出于显而易见的原因，Kafka集群不再接收记录，但客户端如何发生这种情况？
使用 Kafka for Spring ，是否有任何机制可以处理这个问题？
2 回答
如果所有Kafka经纪人都关闭，那么就没有数据处理 . 您的数据流已丢失 . 我假设如果你有3个或更多Kafka经纪人，所有节点同时崩溃是很少见的 .
如果任何一个节点关闭，那么DevOps作业应该捕获并尝试重新启动它 . 如果重新启动失败，则应尝试启动新节点并将其添加到Kafka群集 . 这种自动化很复杂，需要DevOps团队实施和维护流程 .
这是非常罕见的情况，但仍然要解决这类问题并管理kafka传入的高吞吐量Kafka提供了Mirror Maker工具，它有助于拥有群集的其他副本 . 如果当前集群关闭，则 生产环境 者必须向镜像制造商经纪人发送消息 . https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330