这个问题在这里已有答案:
我需要使用PySpark来展平包含嵌套dicts的以下RDD,示例如下:
x = [{1: {345: 2}, 2: {33: 9}}, {5: {3: 2}, 2: {45, 9}}, {2: {33:5}}]
在我的实际数据中,每个嵌套的dict可能具有不同的长度和项目数 . x
只是结构的代表 .
我需要输出是一个单独的字典,其中键和值根据需要合并:
x_out = {1: {345:2}, 2: {33: 14, 45:9}, 5: {3, 2}}
我怎样才能做到这一点?我试过扁平化RDD,但我无法弄明白 . 我知道我必须以同样的方式使用combine和reduceByKey .
这与处理元组和列表的链接问题不同 .
1 回答