0

环境

我通过 python API 使用 spark v2.4.4

问题

根据 spark文档，我可以通过设置以下配置强制 spark 下载所有 hive jar 以与我的 hive_metastore 交互

  • spark.sql.hive.metastore.version=${my_version}
  • spark.sql.hive.metastore.jars=maven

但是，当我运行以下 python 代码时，没有从 maven 下载任何 jar 文件。

   from pyspark.sql import SparkSession
   from pyspark import SparkConf
   conf = (
       SparkConf()
       .setAppName("myapp")
       .set("spark.sql.hive.metastore.version", "2.3.3")
       .set("spark.sql.hive.metastore.jars","maven")
   )
   spark = (
       SparkSession
       .builder
       .config(conf=conf)
       .enableHiveSupport()
       .getOrCreate()
   )

我怎么知道没有下载jar文件？

  1. log4j.logger.org.apache.spark.api.python.PythonGatewayServer=INFO通过在 $SPARK_HOME/conf/log4j.properties 中设置，我已将 logLevel=INFO 配置为默认值。我看不到任何日志表明 spark 正在与 maven 交互。根据这个我应该看到一个信息级别的日志
  2. 即使由于某种原因我的日志记录被破坏了，SparkSession 对象也只是构建得太快而无法从 Maven 中拉出大罐子。它会在 5 秒内返回。如果我手动将 hive_metastore 的 maven 坐标添加到“spark.jars.packages”，则需要几分钟才能全部下载
  3. 我已删除 ~/.ivy2 和 ~/.m2 目录以删除以前下载的缓存

其他测试

  • 我还在 spark 3.0.0 集群上尝试过相同的代码，但它也不起作用
  • 谁能发现我做错了什么？或者这个选项刚刚坏了
4

1 回答 1

0

对于其他试图解决此问题的人：

  • 创建火花上下文时，不会从 maven 下载。当您运行 hive 命令时会发生这种情况。例如 spark.catalog.listDatabases()
  • 您需要确保您的 spark 版本支持您尝试运行的 hive 版本。并非所有版本的 hive 都受支持，不同版本的 spark 支持不同版本的 hive。
于 2021-02-25T22:05:23.727 回答