首页 文章

Kafka Streams - 来自保留政策主题的KTable

提问于
浏览
2

我正在尝试使用kafka流,我有以下设置:

  • 我有一个现有的kafka主题,其密钥空间无限制(但可预测且众所周知) .

  • 我的主题有一个保留策略(以字节为单位)来老化旧记录 .

  • 我想将此主题实现为Ktable,我可以使用Interactive Queries API按键检索记录 .

有没有办法让我的KTable从我的主题“继承”保留政策?因此,当记录从主要主题中老化时,它们在ktable中不再可用?

我担心将所有记录转储到KTable并让StateStore无限增长 .

我能想到的一个解决方案是转换为窗口流,其中跳跃窗口等于记录的TimeToLive,但我想知道是否有更好的解决方案以更本地的方式 .

谢谢 .

1 回答

  • 2

    遗憾的是,不支持atm . 但是有一个JIRA:https://issues.apache.org/jira/browse/KAFKA-4212

    另一种可能性是将逻辑删除消息( <key,null> )插入到输入主题中 . KTable 会选择那些并从商店中删除相应的密钥 .

相关问题