azure - 我正在尝试直接连接到 abfss（不安装到 DBFS）并尝试在 databricks 中使用 open() 打开 json 文件

Question

我正在尝试直接连接到 abfss（不安装到 DBFS）并尝试使用 databricks 中的 open() 方法打开 json 文件。

json_file = open("abfss://@.dfs.core.windows.net/test.json') databricks 无法打开 azure blob 容器中存在的文件并出现以下错误：FileNotFoundError: [Errno 2] No such file 或目录：'abfss://@.dfs.core.windows.net/test.json'

我已经使用服务主体完成了所有配置设置。请建议使用 abfss 直接路径打开文件的其他方式。

Answer 1

该方法仅适用于本地文件 - 它对其他云存储open一无所知。abfss您有以下选择：

1. 用于dbutils.fs.cp将文件从 ADLS 复制到驱动节点的本地磁盘，然后使用它，例如：dbutils.fs.cp("abfss:/....", "file:/tmp/my-copy")
2. 使用Azure SDK将文件从 ADLS 复制到驱动程序节点

第一种方法比第二种方法更容易使用