1

我有以下设置

Databricks 集群：

8.4 ML (includes Apache Spark 3.1.2, Scala 2.12)

客户端：

databricks==0.2
databricks-cli==0.14.3
databricks-connect==8.1.10 (The latest version up to date 20210813)

当我运行databricks-connect test测试连接时，我收到此错误消息

java.lang.IllegalArgumentException: 
The cluster is running server version `dbr-8.4` but this client only supports Set(dbr-8.1). 
You can find a list of client releases at https://pypi.org/project/databricks-connect/#history, and install the right client version with `pip install -U databricks-connect==<version>`. 
For example, to install the latest 5.1 release, use `pip install -U databricks-connect==5.1.*`. 
To ignore this error and continue, set DEBUG_IGNORE_VERSION_MISMATCH=1.

根据错误信息，我了解到客户端和服务器版本存在兼容性问题。但是，我已经在使用最新的客户端。

  1. 这是否意味着客户端不添加对服务器版本 8.4 的支持？
  2. 有什么办法可以规避这个问题吗？
4

1 回答 1

1

不幸的是，它是 DBR 8.x 的最新版本的 databricks-connect，8.2-8.4 的版本尚未发布。但是，如果您在 the或其他命令（如 、、等）之前添加它可能会起作用。DEBUG_IGNORE_VERSION_MISMATCH=1databricks-connect testpysparkspark-submit

于 2021-08-13T14:01:30.680 回答