hadoop - 有人可以解释一下吗：“Spark SQL 支持的用例与 Hive 不同。”

Question

我指的是以下链接：Hive Support for Spark

它说 ：

“Spark SQL 支持与 Hive 不同的用例。”

我不确定为什么会这样。这是否意味着作为 Hive 用户我不能通过 Spark SQL 使用 Spark 执行引擎？

一些问题：

• Spark SQL 使用 Hive 查询解析器。因此，理想情况下，它将支持所有 Hive 功能。
• 它会使用 Hive Metastore 吗？
• Hive 会使用 Spark 优化器还是会构建自己的优化器？
• Hive 会将 MR Jobs 翻译成 Spark 吗？还是使用其他范式？

Answer 1

Spark SQL 旨在允许在 Spark 的机器学习库之上使用 SQL 表达式。它允许您使用 SQL 作为工具（以及其他工具）来构建高级分析（例如 ML）应用程序。它不是 Hive 的直接替代品，后者在批处理/ETL 方面确实是最好的。

但是，上游也有工作正在进行，以允许 Spark 作为 Hive 的通用数据处理后端。这项工作可以让您充分利用 Spark for Hive 用例。