我有一个运作良好的火花工作 . 驱动程序一次创建一个任务列表，然后将其并行化以在spark执行程序上运行 .
我真正想要的是一个可以运行多次迭代的spark工作，工作方式如下：
-
驱动程序以初始任务列表开始，并发送给执行程序 .
-
执行程序运行任务并将结果发送回驱动程序 .
-
驱动程序根据先前运行的结果生成另一个任务列表;然后将新任务发送给执行程序 .
-
这一直持续到驱动程序确定找到了最佳/最佳任务，此时作业结束 .
我是否可以在spark中使用现有框架直接用于此类应用程序（例如，参数调整）？谢谢！