首页 文章

写木地板到NFS

提问于
浏览
2

我试图通过命令将镶嵌格式的数据帧写入NFS(网络文件系统):

df.write.mode('overwrite').parquet(OUTPUT_DIR)

它适用于HDFS,但使用NFS,只创建_temporary并且不会写入实际的镶木地板文件 . 工作是成功的,没有任何错误 . 作业将相同的df写入HDFS和NFS,具有相同的OutputCommitter日志:

FileOutputCommitter: Saved output of task 'attempt_XXXX_0002_m_000000_0' to path_to_DF/_temporary/0/task_XXXX_0002_m_000000
SparkHadoopMapRedUtil: attempt_XXXX_0002_m_000000_0: Committed
Executor: Finished task 0.0 in stage 2.0 (TID X). 2707 bytes result sent to driver

谢谢 .

1 回答

  • 0

    在将RDD / DF保存到NFS时使用“file:” .

相关问题