是否可以从Flink流媒体作业触发检查点？
我的用例是：我有两个流R和S加入翻滚时间窗口 . 来源是 Kafka . 我使用事件时间处理和BoundedOutOfOrdernessGenerator来确保来自两个流的事件最终在同一个窗口中 .
问题是我的状态很大，有时定期检查点需要花费太多时间 . 起初，我想禁用检查点并依赖Kafka偏移量 . 但是不按顺序意味着我在未来的窗口中已经有一些来自当前偏移量的数据 . 所以我需要检查点 .
如果可以在窗口被清理后触发检查点而不是定期检查点，那么它将更有效 . 也许在evictAfter方法 .
这是否有意义，是否可能？如果不是我会欣赏一个解决方案 .
1 回答
似乎这里的问题是检查点效率 . 考虑使用RocksDB状态后端和增量检查点，在Debugging and Tuning Checkpoints and Large State下的文档中讨论 .