问题标签 [spark-thriftserver]

我正在尝试使用 Hive 0.14（最新的 HortonWorks 发行版）在 HDP 2.2.0 上启动 Spark Thrift 服务器（Spark 1.2），但不幸的是，我收到了这个对我来说非常神秘的错误：

有谁可以帮我解决这个问题？当我尝试从与 Hive 相关的 Spark shell 中执行任何命令时也会发生同样的情况（例如创建表、将数据插入现有表等..）

我正在使用以下命令在 Windows 中的安全 yarn-2.7.2 上运行带有 Hive-1.2.1 的 spark 1.5.2 thrift 服务器

它停止了以下异常，

如何解决这个问题。

谢谢。

我已经在本地环境中启动了 spark-2.0 thrift 服务器，它工作正常，当我尝试使用集群环境时，抛出了以下异常。

检查应用程序主日志时

火花默认配置：

I am new to Spark and am trying to understand how (if at all) is it possible to register dataframes as temp tables in the Spark thrift server. To clarify, this is what I am trying to do:

• Submit an application that generates a dataframe and registers it as a temporary table
• Connect from a JDBC client to the Spark ThriftServer (running on the master) and query the temporary table, even after the application that registered it completed.

So far I've had no success with this - the Spark ThriftServer is running on the Spark master, but I'm unable to actually register any temp table to it.

Is this possible? I know I can use HiveThriftServer2.startWithContext to serve a dataframe via JDBC, but that requires the application to keep running forever + it requires me to launch additional applications.

我在本地运行 spark 并希望访问位于远程 Hadoop 集群中的 Hive 表。

我可以通过在 SPARK_HOME 下启动 beeline 来访问蜂巢表

如何从 spark 以编程方式访问远程配置单元表？

任何人都可以帮助我启动 spark thrift 服务器吗？我在独立模式下运行我的脚本，我想在我的商业智能工具中获取数据。

为此，我需要启动节俭服务器。我尝试运行 shell 脚本：

但我收到一个错误：

错误“ps未知选项--0”

我已经设置了我的 Spark 集群，并且我成功地通过 Spark SQL 连接器连接了 Tableau。

saveAsTable我从 spark shell 创建了我的表，并使用 ( )从 MySQL 保存了数据帧。

如何访问从 Tableau 中保存的表？启动spark thrift服务器时是否需要给出仓库目录的路径？如果是，如何做到这一点，如果不是，如何做到这一点？

我正在使用 Apache Spark 2.1.1，我想使用外部 Hive 元存储（专门针对 Spark Thrift Server）进行设置。

我已添加hive-site.xml到$SPARK_HOME/conf如下文件夹：

每当我尝试运行spark-shell或 Spark Thrift Server 时，他们都会尝试在 MySQL 上创建 Hive 元存储（因为还没有元存储）并且它们失败并出现以下错误：

我正在使用 Apache Spark 2.1.1，并将以下 hive-site.xml 放在$SPARK_HOME/conf文件夹中：

当我启动 thrift 服务器时，metastore 模式是在我的 MySQL 数据库上创建的，但没有使用，而是使用了 Derby。

在 thrift 服务器日志文件上找不到任何错误，唯一引起我注意的是它首先尝试使用 MySQL（INFO MetaStoreDirectSql: Using direct SQL, underlying DB is MYSQL），但随后没有任何错误，而是使用 Derby（INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY）。这是 thrift 服务器日志https://www.dropbox.com/s/rxfwgjm9bdccaju/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-s-master.value-iq.com。出?dl=0

我的系统上没有安装 Hive，我只是假装使用 Apache Spark 的内置 Hive。

我正在使用mysql-connector-java-5.1.23-bin.jar位于$SPARK_HOME/jars文件夹中的哪个。

下面对 4 节点集群中每个节点上的 /etc/dse/spark/hive-site.xml 进行了更改。

在运行 spark thrift 服务器和 spark-beeline 客户端的节点上设置以下 ENV 变量 export AWS_SECRET_ACCESS_KEY=****
export AWS_ACCESS_KEY_ID=*****

启动 Spark thrift 服务器，如下所示

使用 S3 存储桶从 Spark Beeline 创建了一个表作为源

我收到以下错误

注意：AWS 密钥是有效的，并且一直在使用其他 python 脚本