我们有一个包含大约40列和4000万条记录的数据框 . 当我们在数据帧上运行saveAsTextFile（s3：//）以触发DAG执行时，作业将失败 intermittently 并出现以下错误 . DAG涉及多个连接，联合和过滤器转换，saveAsTextFile是唯一会触发DAG执行的操作 . 有人可以帮助理解我如何调试这个 . 作业在启用了自动缩放的专用EMR群集上运行 .
org.apache.spark.SparkException：作业已中止由于舞台故障：任务74级73.0失败4次，最近一次失败：失落的任务74.3原因：从失去驱动程序堆栈跟踪：在org.apache.spark.scheduler.DAGScheduler.org $ apache $ spark $ scheduler $ DAGScheduler $$ failJobAndIndependentStages（DAGScheduler.scala：1454）org.apache.spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.apply（DAGScheduler.scala：1442）at org.apache.spark . scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.适用（DAGScheduler.scala：1441）在scala.collection.mutable.ResizableArray $ class.foreach（ResizableArray.scala：59）在scala.collection.mutable.ArrayBuffer.foreach（ArrayBuffer . scala：48）org.apache.spark.scheduler.DAGScheduler.abortStage（DAGScheduler.scala：1441）atg.apache.spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.apply（DAGScheduler.scala：811）at org .apache.spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.适用（DAGScheduler.scala：811）在scala.Option.foreach（Option.scala：257）在org.apac在org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive（DAGScheduler.scala：1667）的org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive（DAGScheduler . ）中的he.spark.scheduler.DAGScheduler.handleTaskSetFailed（DAGScheduler.scala：811） . 斯卡拉：1622）在org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive（DAGScheduler.scala：1611）在org.apache.spark.util.EventLoop $$不久$ 1.run（EventLoop.scala：48）在org.apache .spark.scheduler.DAGScheduler.runJob（DAGScheduler.scala：632）在org.apache.spark.SparkContext.runJob（SparkContext.scala：1873）在org.apache.spark.SparkContext.runJob（SparkContext.scala：1886）在org.apache.spark.SparkContext.runJob（SparkContext.scala：1906）在org.apache.spark.rdd.PairRDDFunctions $$ anonfun $ saveAsHadoopDataset $ 1.适用$ MCV $ SP（PairRDDFunctions.scala：1219）在org.apache . spark.rdd.PairRDDFunctions $$ anonfun $ saveAsHadoopDataset $ 1.apply（PairRDDFunctions.scala：1161）at org.apache.spark.rdd.PairRDDFunctions $$ anonfun $ saveAsHadoopDataset $ 1.apply（PairR） DDFunctions.scala：1161）org.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：151）atg.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：112）at org.apache .spark.rdd.RDD.withScope（RDD.scala：358）org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopDataset（PairRDDFunctions.scala：1161）at org.apache.spark.rdd.PairRDDFunctions $$ anonfun $ saveAsHadoopFile $ 4 . 适用$ MCV $ SP（PairRDDFunctions.scala：1064）在org.apache.spark.rdd.PairRDDFunctions $$ anonfun $ saveAsHadoopFile $ 4.适用（PairRDDFunctions.scala：1030）在org.apache.spark.rdd.PairRDDFunctions $$ anonfun $ saveAsHadoopFile $ 4.apply（PairRDDFunctions.scala：1030）org.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：151）at org.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala） ：112）org.apache.spark.rdd.RDD.withScope（RDD.scala：358）atg.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile（PairRDDFunctions.scala：1030）org.apache.spark.rdd . PairRDDFunctions $$匿名有趣$ saveAsHadoopFile $ 1.适用$ MCV $ SP（PairRDDFunctions.scala：956）在org.apache.spark.rdd.PairRDDFunctions $$ anonfun $ saveAsHadoopFile $ 1.适用（PairRDDFunctions.scala：956）在org.apache.spark.rdd .PairRDDFunctions $$ anonfun $ saveAsHadoopFile $ 1.apply（PairRDDFunctions.scala：956）org.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：151）at org.apache.spark.rdd.RDDOperationScope $ .withScope （RDDOperationScope.scala：112）org.apache.spark.rdd.RDD.withScope（RDD.scala：358）位于org.apache的org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile（PairRDDFunctions.scala：955） . spark.rdd.RDD $$ anonfun $ saveAsTextFile $ 1.apply $ mcV $ sp（RDD.scala：1459）at org.apache.spark.rdd.RDD $$ anonfun $ saveAsTextFile $ 1.apply（RDD.scala：1438）at at org.apache.spark.rdd.RDD $$ anonfun $ saveAsTextFile $ 1.apply（RDD.scala：1438）org.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：151）org.apache.spark .rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：112）at org.apache.spark.rdd.RDD . withScope（RDD.scala：358）at org.apache.spark.rdd.RDD.saveAsTextFile(RDD.scala:1438)