我有一个AWS EMR集群（emr-4.2.0，Spark 1.5.2），我从aws cli提交步骤 . 我的问题是，如果Spark应用程序失败，那么YARN正在尝试再次运行应用程序（在相同的EMR步骤下） . 我怎么能阻止这个？
我试图设置 --conf spark.yarn.maxAppAttempts=1 ，它在环境/火花属性中正确设置，但它不会阻止YARN重新启动应用程序 .
--conf spark.yarn.maxAppAttempts=1
您应该尝试将 spark.task.maxFailures 设置为1（默认为4） .
spark.task.maxFailures
含义：
在放弃工作之前任何特定任务的失败次数 . 分散在不同任务中的故障总数不会导致作业失败;一项特定任务必须通过这一次尝试失败 . 应大于或等于1.允许的重试次数=此值 - 1 .
1 回答
您应该尝试将
spark.task.maxFailures设置为1（默认为4） .含义：