我正在尝试使用kafka流,我有以下设置:
-
我有一个现有的kafka主题,其密钥空间无限制(但可预测且众所周知) .
-
我的主题有一个保留策略(以字节为单位)来老化旧记录 .
-
我想将此主题实现为Ktable,我可以使用Interactive Queries API按键检索记录 .
有没有办法让我的KTable从我的主题“继承”保留政策?因此,当记录从主要主题中老化时,它们在ktable中不再可用?
我担心将所有记录转储到KTable并让StateStore无限增长 .
我能想到的一个解决方案是转换为窗口流,其中跳跃窗口等于记录的TimeToLive,但我想知道是否有更好的解决方案以更本地的方式 .
谢谢 .
1 回答
遗憾的是,不支持atm . 但是有一个JIRA:https://issues.apache.org/jira/browse/KAFKA-4212
另一种可能性是将逻辑删除消息(
<key,null>
)插入到输入主题中 .KTable
会选择那些并从商店中删除相应的密钥 .