3

我可以将 Great_Expectations 套件保存到我的 Databricks 社区版上的 tmp 文件夹中，如下所示：

ge_partdf.save_expectation_suite('/tmp/myexpectation_suite.json',discard_failed_expectations=False)

但问题是，当我重新启动集群时，tmp 文件夹中的 json 文件更长。我猜这是因为驻留在 tmp 文件夹中的文件是临时的。但是，如果我尝试将其保存为我知道 Databricks 上存在的文件夹，例如 /FileStore/tables，我会收到错误消息：

FileNotFoundError: [Errno 2] No such file or directory: '/FileStore/tables/myexpectation_suite.json'

有人可以让我知道如何在 Databricks 上本地保存。

4

1 回答 1

2

该save_expectation_suite函数使用本地 Python API 并将数据存储在本地磁盘上，而不是 DBFS 上——这就是文件消失的原因。

如果您使用完整的 Databricks（在 AWS 或 Azure 上），那么您只需/dbfs在路径前添加，文件将通过所谓的 DBFS 熔断器存储在 DBFS 上（请参阅文档）。

在社区版中，您需要继续使用到本地磁盘，然后使用dbutils.fs.cp将文件从本地磁盘复制到 DBFS。

根据评论更新可见性：

要引用本地文件，您需要附加file://到路径。所以我们有两种情况：

  1. 将生成的套件从本地磁盘复制到 DBFS：
dbutils.fs.cp('file:///tmp/myexpectation_suite.json', "/FileStore/tables")
  1. 将套件从 DBFS 复制到本地磁盘以加载它：
dbutils.fs.cp("/FileStore/tables/myexpectation_suite.json", 'file:///tmp/myexpectation_suite.json')
于 2021-12-17T16:40:14.883 回答