首页 文章

Hive表是从spark创建的，但在hive中不可见

提问于
浏览 次
1

来自火花使用：

DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName")

表正在保存我可以看到使用下面的命令的hadoop fs -ls /apps/hive/warehouse\test.db' 其中 test 是我的数据库名称

drwxr-xr-x - psudhir hdfs 0 2016-01-04 05:02 /apps/hive/warehouse/test.db/myTableName

但是当我尝试检查Hive中的表时，我无法使用hiveContext中的命令 SHOW TABLES 查看它们 .

apache-spark hive hiveql hivecontext

3 回答

  • 1

    您必须将 hive-site.xml 文件（我的位于/etc/hive/conf.dist/hive-site.xml）复制到Spark conf文件夹（我的位于/ etc / spark / conf /）

    sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

    重新启动Spark，它应该工作 .

    回复于
  • 0

    我认为你需要在hive控制台中运行 INVALIDATE METADATA; 来刷新数据库并查看你的新表 .

    回复于
  • -2
    sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

    这对我来说是一个Cloudera快速启动Virtual Box .

    回复于

相关问题