我有一个由 5 个经纪人和 4 个镜像制造商组成的 Kafka 集群，用于镜像来自 2 个不同数据中心的日期。我知道 kafka 代理需要自己的专用硬件，特别是因为磁盘高 I/O，内存使用和 CPU 密集型应用程序。
我想知道在一个甚至是 Kafka 经纪人的节点上部署镜像制造商流程是否有意义，或者我是否应考虑让镜像制造商在：
专用节点
托管 zookeeper 服务器的节点
HDFS 和其他 cloudera 服务部署在不同的节点上。
在此先感谢，Beniamino
MirrorMaker 只是一个普通的 Java Producer/Consumer 对。
如果您编写了一个从远程数据中心读取的应用程序，那么在自己的硬件上运行它是否有意义？你有资源吗？我个人不会在经纪人或动物园管理员处运行它。
如果您在可用 Docker 或 Kubernetes 的数据中心中运行，则可以在自己的容器中部署所有镜像实例。或者，您可以使用正则表达式白名单模式在一个 JVM 中运行所有主题。
但是，如果您选择部署，建议让 MirrorMaker 的使用过程位于远程数据中心，以便将数据提取并生成到本地群集。
汇编讨论了这个主题
1 回答
MirrorMaker 只是一个普通的 Java Producer/Consumer 对。
如果您编写了一个从远程数据中心读取的应用程序，那么在自己的硬件上运行它是否有意义？你有资源吗？我个人不会在经纪人或动物园管理员处运行它。
如果您在可用 Docker 或 Kubernetes 的数据中心中运行，则可以在自己的容器中部署所有镜像实例。或者，您可以使用正则表达式白名单模式在一个 JVM 中运行所有主题。
但是，如果您选择部署，建议让 MirrorMaker 的使用过程位于远程数据中心，以便将数据提取并生成到本地群集。
汇编讨论了这个主题