我们正在为Apache Spark编写Scala代码，并在cloudera 5.5中以Yarn模式（Yarn Client Mode）运行该过程 . Spark版本是1.5

我需要记录此代码，并希望在Spark的特定目录中移动日志，而不是火花日志中的噪声

我们使用普通的log4j . 暂时没有时间记录特征 .

我已经像这样更改了$ 中的默认log4j文件

# Set everything to be logged to the console
log4j.rootLogger=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Spark Logs

log4j.appender.aAppender=org.apache.log4j.RollingFileAppender
log4j.appender.aAppender.File=/var/log/aLogger.log
log4j.appender.aAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.aAppender.layout.ConversionPattern=[%p] %d %c %M - %m%n
log4j.appender.aAppender.maxFileSize=50MB
log4j.appender.aAppender.maxBackupIndex=5
log4j.appender.aAppender.encoding=UTF-8

# My custom logging goes to another file
log4j.logger.fsaLogger=ERROR, fsaAppender

这是我在scala中的代码

这是主要方法

val logger =LogManager.getLogger("aLogger")
 val jobName = "AData"
 logger.warn("jobName ::" +jobName +" Started at ::" +     
+Calendar.getInstance().getTime())

  val sc = new SparkContext(conf)
  val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
  val sourceDF = sqlContext.read
    .format("com.databricks.spark.avro")
    .load(pathToFiles)

 finalCSMDF.map { row =>
//To remove Serilizable Exception
 var loggers = org.apache.log4j.LogManager.getLogger("aLogger")
 loggers.error("Test Log")
 row
 } 

logger.warn("jobName ::" +jobName +" completed at ::" +     
+Calendar.getInstance().getTime())

我的问题是，当我在纱线模式下运行时，我在/var/log/aLogger.log中找到了jobName ::“jobName started”等，但没有在里面找到loggers.error（“Test Log”）关闭 . 基本上驱动程序中的所有内容都将关闭，但不会关闭驱动程序

请帮忙

scala apache-spark