首页 文章

使用PySpark将Json文件读作Pyspark Dataframe?

提问于
浏览
0

如何使用pyspark读取以下JSON结构以激发数据帧?

My Json structure

{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}

我尝试过:

df = spark.read.json('simple.json');

我希望输出a,b,c作为列和值作为相应的行 .

谢谢 .

1 回答

  • 2

    Json string variables

    如果你有json字符串作为变量,那么你可以做

    simple_json = '{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}'
    rddjson = sc.parallelize([simple_json])
    df = sqlContext.read.json(rddjson)
    
    from pyspark.sql import functions as F
    df.select(F.explode(df.results).alias('results')).select('results.*').show(truncate=False)
    

    哪个会给你

    +---+---+----+
    |a  |b  |c   |
    +---+---+----+
    |1  |2  |name|
    |2  |5  |foo |
    +---+---+----+
    

    Json strings as separate lines in a file (sparkContext and sqlContext)

    如果你在文件中将json字符串作为单独的行,则可以使用sparkContext将其读入rdd [string],如上所述,其余过程与上面相同

    rddjson = sc.textFile('/home/anahcolus/IdeaProjects/pythonSpark/test.csv')
    df = sqlContext.read.json(rddjson)
    df.select(F.explode(df['results']).alias('results')).select('results.*').show(truncate=False)
    

    Json strings as separate lines in a file (sqlContext only)

    如果您在文件中将json字符串作为单独的行,那么您只能使用 sqlContext . 但是这个过程很复杂,因为你必须为它创建模式

    df = sqlContext.read.text('path to the file')
    
    from pyspark.sql import functions as F
    from pyspark.sql import types as T
    df = df.select(F.from_json(df.value, T.StructType([T.StructField('results', T.ArrayType(T.StructType([T.StructField('a', T.IntegerType()), T.StructField('b', T.IntegerType()), T.StructField('c', T.StringType())])))])).alias('results'))
    df.select(F.explode(df['results.results']).alias('results')).select('results.*').show(truncate=False)
    

    这应该给你与上述结果相同

    我希望答案是有帮助的

相关问题