首页 文章

无法将数据框保存为 Hive 表，找不到文件引发异常

提问于
浏览 次
0

当我尝试将数据框保存为 pyspark 中的 Hive 表时

df_writer.saveAsTable('hive_table', format='parquet', mode='overwrite')

我收到以下错误：

由以下原因引起：org.apache.hadoop.mapred.InvalidInputException：输入路径不存在：org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287 处 hdfs://hostname:8020/apps/hive/warehouse/testdb.db/hive_table)org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229 处)

我有通往“ hdfs://hostname:8020/apps/hive/warehouse/testdb.db/”的路

请提供您的输入

apache-spark hive pyspark pyspark-sql

1 回答

  • 0

    尝试将 DataFrameWriter 用作

    df.write.mode(SaveMode.Append).insertInto(s"${dbName}.${t.table}")
    回复于

相关问题