2

我在我的 MacBook 上运行 Pycharm。

客户端设置：Python 解释器 -> Python 3.7 (dtabricks-connect-6.4)

集群设置：Databricks 运行时版本 -> 6.4（包括 Apache Spark 2.4.5、Scala 2.11）

它运行了好几个月，但突然之间，没有任何更新，我不能再从 Pycharm 对 databricks 集群运行我的 python 脚本了。错误是...

Caused by: `java.lang.IllegalArgumentException: The cluster is running server version `dbr-6.4` but this client only supports Set(dbr-5.5)....`

我重新启动了 Pycharm，我重新启动了解释器，我重新启动了集群，甚至重新启动了我的 MacBook，但它没有帮助。错误消息完全是错误的，因为集群和客户端都使用相同的版本。我可以看到，当我执行我的 python 脚本时，集群正在启动但最终失败。

pyenv activate databricks-connect-6-4

pip freeze

Cython==0.29.21
databricks-connect==6.4.0
numpy==1.19.2
pandas==1.0.1
py4j==0.10.7
pyarrow==0.13.0
pycountry==20.7.3
python-dateutil==2.8.1
pytz==2020.1
six==1.15.0

在此处输入图像描述

在此处输入图像描述

4

2 回答 2

1

感谢您提出这个问题。Databricks-Connect 团队已经承认了这个问题，我们正在开发一个补丁来解决这个问题。会及时向大家发布。与此同时，您可以使用DEBUG_IGNORE_VERSION_MISMATCHAlex 指出的。

更新：已发布兼容的 db-connect 客户端以解决此问题：版本 6.4.2（https://pypi.org/project/databricks-connect/6.4.2/，安装方式：pip install databricks-connect== 6.4.2)。

于 2020-11-05T13:56:15.663 回答
1

看起来它是由服务器端的一些内部更改引起的，这会阻止 databricks-connect 工作。您始终可以通过将环境变量设置DEBUG_IGNORE_VERSION_MISMATCH为值1（export DEBUG_IGNORE_VERSION_MISMATCH=1在执行之前在控制台中databricks-connect test）来禁用此检查 - 您也可以在 PyCharm 中设置此环境变量。

更新：它应该由刚刚发布的Databricks Connect 6.4.2修复。

于 2020-11-05T13:34:32.327 回答