我永远地完成了 . 为了解决这个问题，我对代码进行了一些优化，然后重新开始工作 . 不幸的是，我在停止早期版本之前启动了优化代码，现在我无法阻止之前的工作 .

以下是我试图杀死这个应用程序的东西：

  • 通过Web UI结果：spark UI对应用程序没有“kill”选项（我假设他们没有启用“spark.ui.killEnabled”，我不是这个集群的所有者） .

  • 通过命令行： spark-class org.apache.spark.deploy.Client kill mymasterURL app-XXX

结果：我收到此消息：

驱动程序app-XXX已经完成或不存在

但我在Web UI中看到它仍在运行，资源仍然被占用 .

  • 通过命令行通过spark-submit： spark-submit --master mymasterURL --deploy-mode cluster --kill app-XXX

结果：我收到此错误：

错误：仅在独立模式下支持终止提交！

  • 我试图检索spark上下文来停止它（通过SparkContext.stop（）或cancelAllJobs（）），但由于".getOrCreate"在1.3中不可用，因此不成功 . 我无法检索初始应用程序的spark上下文 .

我很感激任何想法！

Edit: 我也试过通过执行以下方式杀死应用程序： yarn application -kill app-XXX

结果：我收到此错误：

线程“main”中的异常java.lang.IllegalArgumentException：无效的ApplicationId前缀：app-XX . 有效的ApplicationId应该以前缀application开头

apache-spark pyspark