apache-spark - Spark 和 Metastore 的关系

Question

我知道 Hive Metastore 用于存储我们在 HIVE 中创建的表的元数据，但为什么 spark 需要 Metastore，Metastore 和 Spark 之间的默认关系是什么

spark SQL 是否正在使用 metasore，如果是的话，这是用来存储数据帧元数据的吗？

为什么即使 iam 不使用任何 sql 库，默认情况下 spark 也会检查元存储连接？

Answer 1

这是spark-2.2.0 文档的解释

hive-site.xml未配置时，上下文自动在当前目录创建metastore_db，并创建spark.sql.warehouse.dir配置的目录，默认为Spark应用当前目录下的spark-warehouse目录已启动。请注意，hive-site.xml 中的 hive.metastore.warehouse.dir 属性自 Spark 2.0.0 以来已弃用。相反，使用 spark.sql.warehouse.dir 指定仓库中数据库的默认位置。