apache-spark - Hive 表是从 spark 创建的，但在 hive 中不可见

Question

从火花使用：

DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName")

表正在保存我可以使用以下命令的 hadoop 看到我的数据库名称fs -ls /apps/hive/warehouse\test.db'在哪里test

drwxr-xr-x - psudhir hdfs 0 2016-01-04 05:02 /apps/hive/warehouse/test.db/myTableName

但是当我尝试检查 Hive 中的表时，我也无法使用SHOW TABLES来自 hiveContext 的命令查看它们。

Answer 1

sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

这在 Cloudera 快速启动 Virtual Box 中对我有用。

Answer 2

您必须将hive-site.xml文件（我的位于 /etc/hive/conf.dist/hive-site.xml）复制到 Spark conf 文件夹（我的位于 /etc/spark/conf/）

sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

重新启动 Spark，它应该可以工作。

Answer 3

我认为您需要INVALIDATE METADATA;在配置单元控制台中运行以刷新数据库并查看新表。