首页 文章

Pyspark - 如何将镶木地板文件转换为带分隔符的文本文件

提问于
浏览 次
1

我有一个带有以下架构的镶木地板文件：

|日期| ID |

我想将它转换为带有制表符分隔符的文本文件，如下所示：

20170403 15284503

我怎样才能在pyspark中这样做？

apache-spark pyspark parquet pyspark-sql tab-delimited-text

1 回答

  • 1

    在Spark 2.0中

    spark.read.parquet(input_path)

    将镶木地板文件读入数据框 . DataFrameReader

    spark.write.csv(output_path, sep='\t')

    将数据帧写为制表符分隔符 . DataFrameWriter

    回复于

相关问题