Question : 是否有任何推荐的方法来管理由 multiple services 组成的不断发展的应用程序环境中的Kafka主题配置,每个主题都有几个主题?

为了提供更多上下文,我们有一个 Kafka cluster ,几个应用程序使用它来将事件数据推送到多个Kafka主题 . 应用程序正在发展,因此主题的配置必须随着时间的推移而更新(例如,添加其他配置属性,增加分区数等) .

我的问题是:如何处理Kafka主题的初始创建和更新?

每个微服务都可以根据Kafka主题定义其要求 - 名称,分区数,复制因子和属性 . 是否有任何可用的产品可以作为输入进行描述,然后执行主题管理任务(例如,创建/更新Kafka主题)?

我必须提到我们已经决定使用Google ProtoBuf作为序列化格式,因此我们不能使用Confluent Schema Registry,因为它只适用于AVRO架构 .