apache-spark - 查询：Spark SQL 中的直线接口

Question

Beeline 脚本是连接到 Spark/bin 中的 HiveServer2 的一种方式。

我运行了如下简单的查询。

在输出中，我可以看到 Map-Reduce 正在启动。

我只是想了解 Spark 中直线功能的优势是什么，因为它遵循传统的 map-reduce 执行框架？

我们可以在直线中使用 Spark RDD 功能吗？

提前致谢。

Answer 1

Beeline 不是 Spark 的一部分。

它只是一个 HiveServer2 客户端。

您可以启动 Spark shell 并在 shell 中执行查询，但这与 Beeline 无关。由于 Beeline 与 Spark 无关。

Answer 2

这是一种方式。如果您不想使用 Mapreduce，则可以TEZ用作引擎。它在内存中运行的速度比 MR 快。

SET hive.execution.engine=tez;

但是你不能运行 spark ifrom beeline。这是一个连接到 hiveserver2 的独立应用程序。

Answer 3

补充@MondayMonkey 所说的内容。Beeline 不是 Spark 引擎的一部分。它只是一个连接到 Spark 的 Thriftserver（JDBC 服务器）的 JDBC 客户端。Beeline 提供 SQL 接口供您与 Spark SQL 交互