问题标签 [spark-thriftserver]

我有一个 Thrift 服务器启动并运行，用户通过 JDBC 连接发送查询。我可以在查询进入时拦截和修改查询，然后将修改后的查询结果发送回用户吗？

例如 - 我希望用户能够发送查询

并将查询修改为

并且应该返回第二个查询的结果。这对用户应该是透明的。

请注意，我们在这里讨论的不是 hiveserver2 或 hive-thrift 服务器。如果有人有这方面的经验，我想在 spark-thrift 服务器上配置 LDAP 身份验证。我使用 AWS EMR 作为我的集群。我能够启动服务器并使用它进行查询，但没有任何用户名或密码。甚至不确定在哪里指定与身份验证相关的属性。关于这些东西的文档很少。

期待听到任何有这方面经验的人的来信。

我正在尝试在启用 Kerberos 身份验证的情况下启动 Spark thrift 服务器。为此，我有以下配置conf/hive-site.xml：

当我运行start-thriftserver.sh脚本时，我在日志中收到以下错误：

说 Kerberos 主体名称应该是 3 部分，这很奇怪，因为它已经thrift/iman@EXAMPLE.COM在 XML 配置中设置。

此外，我尝试注释掉hive.server2.authentication.kerberos.principal属性以查看它是否有任何影响，事实上，当我这样做时，它确实给出了一个不同的错误“没有指定主体”。

有谁知道问题是什么？任何帮助表示赞赏。

我安装了 Spark 2.2 但没有安装 Hive，我想通过 ODBC 公开 Spark 表。我能够启动 thrift server ，显然没有错误，并且我的 ODBC 驱动程序应用程序能够连接到 thrift 服务器，但看不到任何 Spark 表。为了让我的 ODBC 应用程序访问我创建的 Spark 表，我是否需要安装并运行 Hive？

谢谢

我有一个简单的 Spark API java 程序，描述如下：

该程序尝试将一些数据插入到 apache spark thriftserver 表（hive）中。

当我在 IntelliJ 上运行它时，我得到以下信息：

检查在我的 windows10 机器上运行的 thriftserver 实例（在 cmd 上作为超级用户（管理员））向我显示此错误：

随后是 IntelliJ 上显示的相同错误。

直线连接得很好。在 Beeline 上，我可以在我尝试使用我的 java 代码操作的同一个 thriftserver 实例上选择、插入和创建表。

测试直线上的错误消息提供的 SQL 代码（CREATE TABLE TestTable ("id" int )），也会导致两者（IntelliJ 和 ThriftServer）显示相同的错误，但从 SQL (直线上的CREATE TABLE TestTable (id int) ) 工作得很好。

我不知道如何在 spark 生成的 SQL 上指定“无引号”行为，我也不认为这是问题所在，因为我假设这个 SQL 代码是由 .format("jdbc" ） 选项。

包起来：

-> 我正在尝试以编程方式在我的 spark thriftserver 上创建一个表，而不是使用 beeline 这样做，我得到了上述错误。

那么，为什么我会收到这个错误，我做错了什么？

我的POM如下：

提前致谢！

编辑：

我已经从 JdbcUtils$ 类的 mettod createTable 生成的 SQL 表达式中删除了引号，并且该表已成功创建，但没有存储任何数据，而是 IntelliJ 上出现此错误消息：

有什么线索吗？

我正在尝试在 Spark 上的 Hive 中创建一个分区表，并使用 Hive 中其他表中可用的数据加载它。加载数据时出现以下错误：

错误：org.apache.spark.sql.AnalysisException：org.apache.hadoop.hive.ql.metadata.Table.ValidationFailureSemanticException：分区规范 {cardsuit=, cardcolor=, cardSuit=SPA, cardColor=BLA} 包含非分区列;

以下是用于执行任务的命令：-

数据样本：-

黑|黑桃|2

黑|黑桃|3

黑|黑桃|4

黑|黑桃|5

黑|黑桃|6

黑|黑桃|7

黑|黑桃|8

黑|黑桃|9

我正在使用 spark 2.2.0 和 java 版本 1.8.0_31。

我已经检查并尝试了类似线程中给出的答案，但无法解决我的问题：- SemanticException Partition spec {col=null} contains non-partition columns

我在这里错过了什么吗？

使用这个 jar 列表，我可以成功地将 SQuirrel SQL 连接到 Spark 2.2.1：

我认为上述罐子是不必要的。但是当尝试将 JMeter 3.3 连接到与他们相同的 Spark 2.2.1 ThriftServer 时，我收到以下错误消息

enter code here Cannot create PoolableConnectionFactory (Method not supported)

JDBC 配置在这里：

Jmeter 的完整回复在这里：

我也尝试使用较新的 Hive JDBC driver 2.3.0，但显然它不适用于 Spark 2.2.1beeline或包括 Jmeter 在内的任何其他版本。

将 Beeline 与 Hive JDBC 驱动程序 2.3.0 一起使用时的错误消息如下：

还有什么可以将 JMeter 连接到 Spark？

我正在使用 Spark 2.3 thrift 服务器进行 Ad-hoc Sql 查询。我的 spark 参数在 spark-defaults.conf 文件中设置如下：

但是，当我检查 spark web ui 时，spark 核心与活动任务不相等，如图所示：

活动任务的数量怎么会比分配的核心大？有任何想法吗？谢谢！

我正在编写一个 Java Spark 应用程序，它需要连接到 hive 并获取一些基本的表信息并查询该表的数据。我正在创建一个火花会话并获取如下信息。但这使用节俭服务器。我想看看我是否可以在不使用 Thrift 服务器的情况下做同样的事情。这可能吗？我该怎么做？我正在尝试编写一个 JDBC 客户端，该客户端可以通过 sparkSQL 连接到 spark 以访问配置单元表，但不使用节俭服务器。请就如何处理此问题提供您的想法和建议。谢谢你。

我已经在端口 10015 上启动了 spark thrift 服务器。它启动成功，我也可以连接到 metastore，但是我无法使用 beeline 连接到 Spark thrift 服务器。如果我错过了什么，请告诉我。

--------我遵循的过程如下------------

[root@hadoopdashuju009154 bin]# netstat -an|grep 10015

tcp 0 0 10.2.9.154:10015 0.0.0.0:* LISTEN
[root@hadoopdashuju009154 bin]#

- 我在 spark_home conf 目录下的 hive-site.xml

- 当我使用直线连接到 spark thrift 服务器时出错

[root@hadoopdashuju009154 bin]# ./beeline -u jdbc:hive2://hadoopdashuju009154.ppdgdsl.com:10015

[root@hadoopdashuju009154 bin]#