我正在使用Spark,Flink和Kafka创建流分析应用程序 . 每个分析/功能都将实现为微服务,以便此分析能够在以后的不同项目中使用 .
我在Simple Scala应用程序中完美地运行我的Spark / Flink作业,并分别通过Spark和Flink集群提交此作业 . 但是当REST POST startJob()请求调用我的Web服务时,我必须启动/运行此作业 .
如何在面向Web服务的应用程序中集成Spark&Flink数据处理功能?
直到现在我试过Lagom Microservice但我发现你可以检查很多问题
-
Best approach to ingest Streaming Data in Lagom Microservice
-
java.io.NotSerializableException using Apache Flink with Lagom
我认为我没有为Stream Processing Microservice Application采取正确的方向 . 寻找通过REST服务实现此分析的正确方向 .
1 回答
Flink有一个REST API,可用于提交和控制作业 - 它由Flink Web UI使用 . 见docs here . 另见this previous question .