我们正在使用多个kafka主题,但希望优先考虑其中一些(〜服务质量) .
根据我在网上发现的情况,我们的共识是不会限制运算符,而是限制源,更具体地说是反序列化器[1] .
我们如何在源中访问有关流环境状态的信息(即主题滞后于当前偏移的距离) .
目前,我们计划将整个设置转换为CoFlatMaps [2]并且具有针对所有主题发出当前偏移滞后的控制流 - 低优先级流运营商然后根据高优先级流的滞后休眠 .
你怎么解决这个问题? Tl;博士: Is there a way to share information across sources/deserializers of a taskmanager?