databricks - 如何将已安装的 dbfs jar 文件从 databricks 集群下载到本地机器？

Question

我是 Databricks 的新手，我希望将已安装的 Databricks 集群库下载到我的本地计算机上。你能帮我解决这个问题吗？

因此，详细说明一下，我已经有一个正在运行的集群，上面已经安装了库。我需要将其中一些库（它们是 dbfs jar 文件）下载到我的本地机器上。实际上，我一直在尝试通过 databricks-cli 使用 '''dbfs cp''' 命令，但这不起作用。它没有给出任何错误，但它也没有做任何事情。我希望这能澄清一些事情。

Answer 1

注意：当您通过Jars、Maven、安装库时PyPI，这些库位于 folderpath 中dbfs:/FileStore。

• 对于位于 -dbfs:/FileStore/jars
• 对于位于 -dbfs:/FileStore/job-jars

有几种方法可以将已安装的 dbfs jar 文件从 databricks 集群下载到本地计算机。

GUI方法：可以使用DBFS Explorer

DBFS Explorer 是作为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。

您需要在 Web 界面中创建不记名令牌才能连接。

第一步：从这里下载 DBFS 资源管理器：https ://datathirst.net/projects/dbfs-explorer并安装。

Step2：如何创建不记名令牌？

• 单击Databricks 工作区右上角的用户配置文件图标用户配置文件。

• 单击用户设置。

• 转到访问令牌选项卡。

• 单击生成新令牌按钮。

注意：复制生成的令牌并存储在安全位置。

步骤 3：打开 Databricks 的 DBFS 资源管理器并输入Host URL并Bearer Token继续。

Step4：导航到名为 FileStore => jars => 选择要下载的 jar 并单击下载并选择本地计算机上的文件夹的 DBFS 文件夹。

CLI 方法：您可以使用 Databricks CLI

第 1 步：安装Databricks CLI，使用您的 Databricks 凭据对其进行配置。

第 2 步：使用 CLI“dbfs cp”命令将文件复制到 DBFS 和从 DBFS 复制文件。

句法： dbfs cp <SOURCE> <DESTINATION>

例子： dbfs cp "dbfs:/FileStore/azure.txt" "C:\Users\Name\Downloads\"