我有一个火花表,如下所示:
Table1
col1 string
col2 int
col3 string
col4 int
col5 string
我有另一个表,如下所示:
Table2
col1 string
col2 int
col3 string
我想动态读取table1的架构并更改table2的架构,以便两个表的架构都应 match(same 列名和数据类型)
因此,最终 table2 应该如下所示:
Table2
col1 string
col2 int
col3 string
col4 int
col5 string
使用 Pyspark 是否可以实现?
1 回答
是的,您可以将表写入 DataFrame 并使用以下方法获取架构:
您还可以将其作为表字段列表获取: