2

想象一系列java.io.File对象。该序列没有任何特定的顺序，它在目录遍历后被填充。文件的名称可以是这样的：

/some/file.bin
/some/other_file_x1.bin
/some/other_file_x2.bin
/some/other_file_x3.bin
/some/other_file_x4.bin
/some/other_file_x5.bin
...
/some/x_file_part1.bin
/some/x_file_part2.bin
/some/x_file_part3.bin
/some/x_file_part4.bin
/some/x_file_part5.bin
...
/some/x_file_part10.bin

基本上，我可以拥有 3 种类型的文件。第一种是简单的，只有一个.bin扩展名。第二种类型的文件是由_x1.bintill形成的_x5.bin。第三种类型的文件可以由 10 个较小的部分组成，从_part1直到_part10. 我知道命名可能很奇怪，但这是我必须使用的:)

我想将文件组合在一起（文件的所有部分都应该一起处理），我正在考虑使用并行数组来做到这一点。我不确定的是如何执行减少/累积部分，因为所有线程都将在同一个数组上工作。

val allBinFiles = allBins.toArray // array of java.io.File

我正在考虑处理这样的事情：

val mapAcumulator = java.util.Collections.synchronizedMap[String,ListBuffer[File]](new java.util.HashMap[String,ListBuffer[File]]())

allBinFiles.par.foreach { file =>
   file match {
      // for something like /some/x_file_x4.bin nameTillPart will be /some/x_file
      case ComposedOf5Name(nameTillPart) => {
          mapAcumulator.getOrElseUpdate(nameTillPart,new ListBuffer[File]()) += file
      }
      case ComposedOf10Name(nameTillPart) => {
          mapAcumulator.getOrElseUpdate(nameTillPart,new ListBuffer[File]()) += file
      }
      // simple file, without any pieces
      case _ => {
          mapAcumulator.getOrElseUpdate(file.toString,new ListBuffer[File]()) += file
      }
   }
}

我正在考虑像上面代码中所示那样做。具有文件提取器，并使用部分路径作为地图中的键。例如，/some/x_file可以作为值保存/some/x_file_x1.bin到/some/x_file_x5.bin. 我也认为可能有更好的方法来处理这个问题。我会对你的意见感兴趣。

4

1 回答 1

1

另一种方法是使用groupBy：

val mp = allBinFiles.par.groupBy {
  case ComposedOf5Name(x) => x
  case ComposedOf10Name(x) => x
  case f => f.toString
}

这将返回文件并行数组的并行映射 ( ParMap[String, ParArray[File]])。如果您想要从这一点开始的文件顺序序列的顺序映射：

val sqmp = mp.map(_.seq).seq

为确保并行性发挥作用，请确保并行数组中有足够的元素 (10k+)。

于 2011-05-11T08:06:00.557 回答