apache-spark - 如何将 temptable 保存到 Hive 元存储（并在 Hive 中对其进行分析）？

Question

我使用 Spark 1.3.1。

如何将 DataFrame 数据存储/保存到 Hive 元存储？

在 Hive 中，如果我运行show tablesDataFrame 不会在 Hive 数据库中显示为表。我已经复制hive-site.xml到$SPARK_HOME/conf，但它没有帮助（数据框也没有出现在 Hive 元存储中）。

我正在关注这个文档，使用 spark 1.4 版本。

dataframe.registerTempTable("people")

如何分析 Hive 中的 spark 表？

Answer 1

得到了解决方案。我使用的是 spark 1.3.1，所以它不支持所有。现在使用 spark 1.5.1 解决了这个问题。我注意到数据框在 1.40 之后完全正常工作。许多命令已弃用。

Answer 2

您可以使用insertInto方法将数据框保存在配置单元中。

例子：

dataframe.insertInto("table_name", false);
//2nd arg is to specify if table should be overridden