首页 文章

在 Spark 中更改表的架构

提问于
浏览
1

我有一个火花表,如下所示:

Table1
  col1                string
  col2                int
  col3                string
  col4                int
  col5                string

我有另一个表,如下所示:

Table2
    col1                string
    col2                int
    col3                string

我想动态读取table1的架构并更改table2的架构,以便两个表的架构都应 match(same 列名和数据类型)

因此,最终 table2 应该如下所示:

Table2
  col1                string
  col2                int
  col3                string
  col4                int
  col5                string

使用 Pyspark 是否可以实现?

1 回答

  • 4

    是的,您可以将表写入 DataFrame 并使用以下方法获取架构:

    val tableSchema = yourDataFrame.schema
    

    您还可以将其作为表字段列表获取:

    val tableSchema = yourDataFrame.schema.fields
    

相关问题