df = sqlContext.read.text('path to the file')
from pyspark.sql import functions as F
from pyspark.sql import types as T
df = df.select(F.from_json(df.value, T.StructType([T.StructField('results', T.ArrayType(T.StructType([T.StructField('a', T.IntegerType()), T.StructField('b', T.IntegerType()), T.StructField('c', T.StringType())])))])).alias('results'))
df.select(F.explode(df['results.results']).alias('results')).select('results.*').show(truncate=False)
1 回答
Json string variables
如果你有json字符串作为变量,那么你可以做
哪个会给你
Json strings as separate lines in a file (sparkContext and sqlContext)
如果你在文件中将json字符串作为单独的行,则可以使用sparkContext将其读入rdd [string],如上所述,其余过程与上面相同
Json strings as separate lines in a file (sqlContext only)
如果您在文件中将json字符串作为单独的行,那么您只能使用
sqlContext
. 但是这个过程很复杂,因为你必须为它创建模式这应该给你与上述结果相同
我希望答案是有帮助的