3

来自 StackOverflow 的一个非常聪明的人帮助我将文件从 Databricks 复制到一个目录： copyfiles

一旦文件被复制，我将使用相同的原则删除文件，如链接所示：

for i in range (0, len(files)):
  file = files[i].name
  if now in file:  
    dbutils.fs.rm(files[i].path,'/mnt/adls2/demo/target/' + file)
    print ('copied     ' + file)
  else:
    print ('not copied ' + file)

但是，我收到了错误：

TypeError: '/mnt/adls2/demo/target/' 有错误的类型 - 需要类 bool。

有人可以让我知道如何解决这个问题。我认为在最初使用命令复制文件后删除文件很简单dbutils.fs.rm

4

3 回答 3

9

如果要删除以下路径中的所有文件：'/mnt/adls2/demo/target/'，有一个简单的命令：

dbutils.fs.rm('/mnt/adls2/demo/target/', True)

无论如何，如果您想使用您的代码，请查看dbutils doc：

rm(dir: String, recurse: boolean = false): boolean -> 删除文件或目录

该函数的第二个参数应为布尔值，但您的代码具有带路径的字符串：

dbutils.fs.rm(files[i].path, '/mnt/adls2/demo/target/' + file)

所以你的新代码可以如下：

for i in range (0, len(files)):
    file = files[i].name
        if now in file:  
            dbutils.fs.rm(files[i].path + file, True)
            print ('copied     ' + file)
        else:
            print ('not copied ' + file)
于 2019-01-08T20:47:42.730 回答
1

为了从 dbfs 中删除文件，您可以在任何笔记本中写入

%fs rm -r dbfs:/user/sample_data.parquet
于 2021-02-11T16:54:57.510 回答
1

如果您有大量文件，以这种方式删除它们可能需要很长时间。您可以利用 spark 并行性来并行删除文件。我提供的答案在 scala 中，但可以更改为 python。

您可以使用以下功能检查目录是否存在：

import java.io._
def CheckPathExists(path:String): Boolean = 
{
  try
  {
    dbutils.fs.ls(path)
    return true
  }
  catch
  {
    case ioe:java.io.FileNotFoundException => return false
  }
}

您可以定义一个用于删除文件的函数。您正在一个对象内创建此函数，并从 Serializable 类扩展该对象，如下所示：

object Helper extends Serializable
{
def delete(directory: String): Unit = {
    dbutils.fs.ls(directory).map(_.path).toDF.foreach { filePath =>
      println(s"deleting file: $filePath")
      dbutils.fs.rm(filePath(0).toString, true)
    }
  }
}

现在您可以先检查路径是否存在，如果它返回 true，那么您可以调用 delete 函数来删除多个任务中文件夹中的文件。

val directoryPath = "<location"
val directoryExists = CheckPathExists(directoryPath)
if(directoryExists)
{
Helper.delete(directoryPath)
}
于 2021-02-12T06:11:01.060 回答