我有工作在hadoop集群之间传输hive表 . 我所做的是从源hadoop集群下载orc文件，然后使用以下命令将orc文件上载到目标hdfs集群 .
hadoop fs -get
hadoop fs -put
目标hadoop clustr中的orc文件可以通过以下方式在spark应用程序中读取：
df = sqlContext.sql('select * from orc.`path_to_where_orc_file_is`')
但是，目标hadoop集群中的配置单元中没有相应的表 .
有没有办法在hdfs中从orc文件创建表而不指定ddl或schema？由于orc文件本身包含架构信息 .
我问这个问题的原因是因为原始hive表的模式是完全嵌套的并且有很多字段 .
目前我能想到的唯一解决方案是在spark中读取那些orc文件，并使用saveAsTable选项将它们写出来，如下所示：
dfTable.write.format("orc").mode(SaveMode.Overwrite).saveAsTable("db1.test1")
1 回答
表是一个数据框，它有模式 .