我正在寻找一种方法来访问使用PySpark将Spark DataFrame保存为Parquet时的镶木地板文件名的独特部分 .

只需读入Change output filename prefix for DataFrame.write()即可以更改DataFrame.write()的输出文件名前缀,但我想知道是否有办法访问RecordWriter中使用的值来构建文件名 .

我看了一下a source code,看到它是configuration.get("spark.sql.sources.writeJobUUID"),这个属性是否先前被初始化了,是否也可以通过PySpark访问?

我想将它用于日志记录,以将特定的Spark作业与写入的镶木地板文件相匹配(因此我可以例如删除不同输出分区中特定作业的所有输出) .