java - 为什么在应用程序中使用 SQLContext 对 Hive 表执行 SQL 失败（但 spark-shell 中的相同查询工作正常）？

Question

我正在使用 Spark 1.6。

我正在尝试通过以下方式连接到我的 spark-sql java 代码中的表：

JavaSparkContext js = new JavaSparkContext();
SQLContext sc = new SQLContext(js); 

DataFrame mainFile = sc.sql("Select * from db.table");

它给了我一个未找到异常的表。

但是当我使用 scala 在 spark-shell 中执行此操作时，它工作正常。表被访问，我也可以打印出数据。

关于这个问题的任何意见？

Answer 1

Spark-shell 提供 HiveContext。如果您想在 Java 代码中使用 HiveContext，请在您的应用程序中添加依赖项，然后在 Java 程序中使用。请参考http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#hive-tables

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.10</artifactId>
        <version>1.6.2</version>
</dependency>