3

在启动 spark-shell 时，我经常收到这样的警告

WARN ObjectStore: Version information not found in 
metastore. hive.metastore.schema.verification is not enabled so 
recording the schema version 1.2.0
WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
java.lang.RuntimeException:

它们是什么意思，我该如何预防。此警告出现在 2.0.2 和 1.6.2 上，可能也出现在其他版本上。

4

3 回答 3

1

默认情况下 hive.metastore.schema.verification 设置为 false。另一个配置设置为 false 以避免此错误。在您的 hive-site.xml 中设置以下配置。（出现此问题是由于元存储中的 VERSION 表为空）

<property>
         <name>hive.metastore.schema.verification</name>
         <value>false</value>
</property>

<property>
         <name>hive.metastore.schema.verification.record.version</name>
         <value>false</value>
</property>
于 2020-11-03T10:04:47.543 回答
0

我在 Spark 2.4.7 中遇到了同样的问题；我没有找到 hive-site.xml。它可能会被打包。但是，我确实通过执行以下导入启用了请求的验证，并创建了一个新的 spark 会话；在火花壳上。

  • scala> 导入 o​​rg.apache.spark.sql.Row
  • scala> 导入 o​​rg.apache.spark.sql.SparkSession
  • scala> val spark =SparkSession.builder.appName("Spark Hive Example").config("spark.sql.warehouse.dir", ".").enableHiveSupport().getOrCreate()
于 2021-01-30T15:10:48.193 回答
0

我认为您的 hive 版本太旧，尝试将 hive 升级到 1.2.0 或更高版本。另一种选择是使用与 hive 0.13 兼容的 spark 1.4 。

于 2016-12-14T13:48:43.037 回答