首页 文章

卡夫卡的__consumer_offsets 和_schema 主题有什么用?

提问于
浏览
20

在设置 Kafka Broker 集群并创建几个主题后,我们发现 Kafka 自动创建了以下两个主题:

  • __consumer_offsets

  • _schema

这些主题的重要性和用途是什么?

2 回答

  • 32

    __consumer_offsets用于存储每组消费者(groupID)的每个 topic:partition 的已提交偏移量的信息。它是压缩的主题,因此数据将定期压缩,只有最新的偏移信息可用。

    _schema - 不是默认的 kafka 主题(至少在 kafka 8,9)。它由 Confluent 添加。查看更多:Confluent Schema Registry - github.com/confluentinc/schema-registry(谢谢@serejja)

  • 4

    __consumer_offsets:每个使用者组维护其每个主题分区的偏移量。从v0.9开始,每个使用者组的已提交偏移量的信息都存储在此内部主题中(在v0.9之前,此信息存储在 Zookeeper 上)。当偏移管理器收到OffsetCommitRequest时,它会将请求附加到名为__consumer_offsets的特殊压缩 Kafka 主题。最后,偏移管理器将向消费者发送成功的偏移提交响应,仅当偏移主题的所有副本都接收到偏移时。

    _schemas:这是架构注册表使用的内部主题,它是 Avro 架构的分布式存储层。与架构,主题(及其对应的版本),元数据和兼容性配置相关的所有信息都附加到本主题。反过来,模式注册表生成(e.g. 当在主题下注册新模式时)并使用该主题中的数据。

相关问题