1

我已经在我的 PC 上设置了一个 miniconda python 环境，我在其中安装了 databricks-connect 包并使用 databricks-connect configure 配置了该工具，以连接到我在美国开发代码时要使用的 databricks 实例。

我需要连接到另一个不同的 databricks 实例以在欧盟开发代码，我认为我可以通过设置不同的 miniconda 环境并在该环境中安装 databricks-connect 并将该环境中的配置设置为指向来做到这一点到新的数据块实例。

唉，这没有用。当我在任一 miniconda 环境中查看 databricks-connect configure 时，我看到两者中的配置相同，这是我上次配置的配置。

因此，我的问题是：有没有办法同时拥有多个数据块连接连接并在两者之间切换而不必每次都重新配置？

感谢您的时间。

4

1 回答 1

0

目前，databricks-connect 依赖于中央配置文件，这会导致问题。有两种解决方法：

  1. 使用文档中描述的环境变量，但应该以某种方式设置它们，另外你需要为不同版本的 databricks-connect 提供不同的 python 环境
  2. 将参数指定为 spark 配置（参见同一文档）
  3. 对于每个数据库集群，请执行以下操作：
  • 具有名称的单独 python 环境并<name>激活它
  • 安装databricks-connect进去
  • 配置数据块连接
  • 搬进~/.databricks-connect_~/.databricks-connect-<name>
  • 编写包装脚本，它将激活 python 环境和符号链接（我有这样~/.databricks-connect-<name>的Zsh 脚本，在这里粘贴它可能太长了。）~/.databricks-connect
于 2021-03-13T10:00:33.220 回答