我想在我的本地机器上设置 Databricks-Connect,以便我可以远程使用 Databricks 集群。我首先通过运行配置客户端
databricks-connect configure
按照这里的指示。但是,当我尝试通过执行来测试连接时
databricks-connect test
我在屏幕截图中得到了错误
(注意:由于“看起来像垃圾邮件”标志,无法插入代码)
该错误表明我指定了一个与任何现有集群都不对应的集群 ID,尽管它是正确的。我仔细检查了我的 Azure Databricks 群集配置详细信息(在高级选项 -> 标记下)。
在我试图找到解决方案的过程中,我在Databricks 论坛、56389816和60511139上遇到了类似的问题,但由于安装的 Databricks Runtime 不同,这些问题并没有多大帮助。
额外细节:
我正在运行 Ubuntu 18.04 并在安装了 Python 3.7.x 和 Java openjdk-8-jre-headless (1.8.0_292) 的虚拟环境中进行设置。
我已经设置了一个 Microsoft Azure Databricks 工作区,其中包含一个运行 Databricks Runtime 7.3 LTS(包括 Apache Spark 3.0.1、Scala 2.12)的集群。根据此处的 Databricks 文档,此运行时运行 Python 3.7.5,应该与我的兼容。
我一直在努力解决这个问题,所以任何帮助将不胜感激!