2

当我尝试将 snowflake-sqlalchemy 库附加到 Databricks 中的 Python 3 集群时，它会破坏我的 python 构建，并且在我安装后续库时会出现以下错误：

AttributeError：cffi 库“_openssl”没有名为“Cryptography_HAS_ED25519”的函数、常量或全局变量

我尝试将最新版本的 Cryptography 库单独附加到集群，但这给了我同样的问题。我认为它可能与以下链接有关：

从 azure-databricks-notebook-message-openssl-has-no-function-constant-or-global-variable-named-cryptography 连接到雪花

https://github.com/snowflakedb/snowflake-connector-python/issues/32

在第二个链接中，它提到了一种解决方法：

The workaround is:
Uninstall cryptography by running pip uninstall cryptography
Delete the directory .../site-packages/cryptography/ manually
Reinstall snowflake-connector-python

Looks like the directory structure of cryptography changed since 1.7.2.*

有什么方法可以卸载 Databricks 中预装的密码学 1.5 python 库，以便我可以使用新的目录结构重新安装最新版本的密码学（2.5）？

4

2 回答 2

1

过时的库：

%sh sudo apt-get install python3-pip -y

其次是：

%sh pip3 install --upgrade snowflake-connector-python

有关更多详细信息，请参阅https://datathirst.net/blog/2019/1/11/databricks-amp-snowflake-python-errors。

于 2019-01-24T19:53:34.323 回答
0

我找到了我的问题的答案。

该问题是由于 Databricks 中的 openssl 版本太过时而导致雪花-sqlalchemy 无法使用它。

解决方法如下：

  1. 升级画中画

    %sh /databricks/python/bin/pip install --upgrade pip

  2. 卸载 pyopenssl

    %sh /databricks/python/bin/pip 卸载 pyopenssl -y

  3. 安装 pyopenssl

    %sh /databricks/python/bin/pip install --upgrade pyopenssl

  4. 安装雪花-sqlalchemy

    %sh /databricks/python/bin/pip install --upgrade snowflake-sqlalchemy

这个问题的答案很有帮助： Python AttributeError: 'module' object has no attribute 'SSL_ST_INIT'

我使用以下代码创建了一个初始化文件：

dbutils.fs.mkdirs("dbfs:/databricks/init/")

dbutils.fs.put("dbfs:/databricks/init/sf-initiation.sh" ,"""
#!/bin/bash
/databricks/python/bin/pip install --upgrade pip
/databricks/python/bin/pip uninstall pyopenssl -y
/databricks/python/bin/pip install --upgrade pyopenssl
/databricks/python/bin/pip install --upgrade snowflake-sqlalchemy
""", True)

文件中的最后一条命令更新所有过时的包，如： Upgrading all packages with pip

于 2019-01-25T10:15:29.863 回答