我指的是以下链接:Hive Support for Spark
它说 :
“Spark SQL 支持与 Hive 不同的用例。”
我不确定为什么会这样。这是否意味着作为 Hive 用户我不能通过 Spark SQL 使用 Spark 执行引擎?
一些问题:
- Spark SQL 使用 Hive 查询解析器。因此,理想情况下,它将支持所有 Hive 功能。
- 它会使用 Hive Metastore 吗?
- Hive 会使用 Spark 优化器还是会构建自己的优化器?
- Hive 会将 MR Jobs 翻译成 Spark 吗?还是使用其他范式?