pyspark - 在 Databricks 上的 DBFS 中打开文件会引发错误

Question

我正在使用 databricks 社区版，当我尝试打开 DBFS 中存在的文件时，它会给我一个错误。如下图

第一个单元格是显示文件存在。

第二个单元格，正在尝试打开文件

score 0 · Accepted Answer

0

尝试访问文件时缺少“dbfs:/”

于 2021-04-12T02:46:42.367 回答

score 0 · Accepted Answer

问题是您使用的open功能仅适用于本地文件，并且对 DBFS 或其他文件系统一无所知。要使其正常工作，您需要将/dbfs前缀附加到文件路径：（/dbfs/FileStore/.... 它可能不适用于带有 DBR 7.x 的社区版本，因此您需要使用下一个配方）

或者您可以在阅读之前使用dbutils.fs.cp（请参阅文档）复制此文件，如下所示：

dbutils.fs.cp("/FileStore/...", "file:///tmp/local-name")
with open("/tmp/local-name", "r"):
...

2 回答 2