首页 文章

Apache Flink:使用来自外部/阻塞调用的数据来丰富流

提问于
浏览
4

在我的应用程序中,我想丰富无限的事件流 . 流本身通过Id的散列来并行化 . 对于每个事件,可能会调用外部源(例如REST,DB) . 此呼叫本质上是阻止的 . 必须维护一个流分区中的事件顺序 .

我的想法是创建一个RichMapFunction,它设置连接,然后轮询每个事件的外部源 . 阻塞调用通常不会很长,但在最坏的情况下,服务可能会停止 .

从理论上讲,这是有效的,但我不喜欢这样做,因为我不知道如果你在流中有一些阻塞操作,Flink会如何反应 . 如果你有很多并行流阻塞会发生什么,即我的线程用完了?或者,如何在流并行化的点处向上流动?

是否有其他人可能有类似的问题和我的问题的答案或一些想法如何解决它?

1 回答

相关问题