databricks - 仅当文件不存在时才使用 dbtuils 复制 Databricks 文件

Question

我正在使用以下 databricks utilites ( dbutils) 命令将文件从一个位置复制到另一个位置，如下所示：

dbutils.fs.cp('adl://dblake.azuredatalakestore.net/jfolder2/thisfile.csv','adl://cadblake.azuredatalakestore.net/landing/')

但是，我希望仅在不存在具有相同名称“ ”的此类文件时才复制该文件thisfile.csv。

有人可以让我知道这是否可能吗？

如果没有，还有其他解决方法吗？

Answer 1

dbutils.fs.ls()列出给定路径中的文件。

thisfile.csv因此，您可以在复制文件之前检查是否存在：

if "thisfile.csv" not in [file.name for file in dbutils.fs.ls("adl://cadblake.azuredatalakestore.net/landing/")]:
    dbutils.fs.cp("adl://dblake.azuredatalakestore.net/jfolder2/thisfile.csv", "adl://cadblake.azuredatalakestore.net/landing/")