在我的应用程序中,我想丰富无限的事件流 . 流本身通过Id的散列来并行化 . 对于每个事件,可能会调用外部源(例如REST,DB) . 此呼叫本质上是阻止的 . 必须维护一个流分区中的事件顺序 .
我的想法是创建一个RichMapFunction,它设置连接,然后轮询每个事件的外部源 . 阻塞调用通常不会很长,但在最坏的情况下,服务可能会停止 .
从理论上讲,这是有效的,但我不喜欢这样做,因为我不知道如果你在流中有一些阻塞操作,Flink会如何反应 . 如果你有很多并行流阻塞会发生什么,即我的线程用完了?或者,如何在流并行化的点处向上流动?
是否有其他人可能有类似的问题和我的问题的答案或一些想法如何解决它?
1 回答
RichMapFunction
是一个很好的起点,但更喜欢RichAsyncFunction
,这是异步的,不会阻止你的处理!小心:
1-您的数据库访问,但也是异步的
2-您的活动顺序可能会发生变化(根据使用的模式)
更多细节:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/stream/asyncio.html
希望能帮助到你