2

您好，我正在寻找最快的蝙蝠而不是高级的方式来处理大数据收集。我的任务包括两个任务，读取内存中的大量大文件，然后进行一些统计计算（在此任务中处理数据的最简单方法是随机访问数组）。

我的第一种方法是使用java.io.ByteArrayOutputStream，因为它可以调整其内部存储的大小。

def packTo(buf:java.io.ByteArrayOutputStream,f:File) = {
  try {
    val fs = new java.io.FileInputStream(f)
    IOUtils.copy(fs,buf)
  } catch  {
    case e:java.io.FileNotFoundException =>
  }
}

    val buf = new java.io.ByteArrayOutputStream()
    files foreach { f:File  => packTo(buf,f) } 
    println(buf.size())

    for(i <- 0 to buf.size()) {
       for(j <- 0 to buf.size()) {
          for(k <- 0 to buf.size()) {
       //  println("i  " + i + "  " + buf[i] );
                   // Calculate something amathing using buf[i] buf[j] buf[k] 
          }
       }
    }

    println("amazing = " + ???)

但ByteArrayOutputStream不能让我成为byte[]它的唯一副本。但我不能允许有 2 个数据副本。

4

2 回答 2

6

你试过scala-io吗？应该Resource.fromFile(f).byteArray和它一样简单。

于 2013-05-24T11:02:55.100 回答
0

Scala 的内置库已经提供了一个很好的 API 来做到这一点

io.Source.fromFile("/file/path").mkString.getBytes

但是，将整个文件作为字节数组加载到内存中通常不是一个好主意。请确保最大可能的文件仍然可以正确放入您的 JVM 内存中。

于 2013-05-24T12:42:58.310 回答