1

在我当前的项目中，我有一个计算函数，它在向量 A 的一个元素上运行并返回一个列表元素，我插入到列表 B 中。返回元素包含许多与第一个列表相关的任意大小的大型矩阵。

作为一个例子，让我们以一个函数为例，它接受一个原始数字 n 并生成一个 nx n 的随机矩阵。

vector.A <- sample(1:2000, 15000, replace = TRUE)

list.B <- as.list(rep(NA, length(vector.A)))

arbitraryMatrix <- function(n) {
    matrix(rnorm(n*n), ncol = n, nrow = n)
}

for ( i  in which(is.na(list.B)) ) {
    print(i)
    list.B[[i]] <- arbitraryMatrix( vector.A[i] )
}

这个函数减慢了更大的 list.B 获取速度（事实上我很确定它会在 R 完成循环之前崩溃）。在我看来，list.B 的任何元素在创建后都不会被再次访问，因此它可以写入磁盘而不是以减慢计算速度的方式占用内存。

我可以编写一个脚本，通过将块保存到 .rda 文件中来做到这一点，但我希望有人有一个更优雅的解决方案。

对于这个http://cran.r-project.org/web/packages/ff/ff.pdf，FF包看起来是一个有趣的可能性， 但据我所知，它不支持列表对象。

注意事项：

  • 我正在使用 for 循环，因为我希望能够修复第 7000 次迭代中出现的错误，而不必不必要地重新运行前 6999 次迭代。
  • 根据您的机器编辑代码的参数，直到它可以运行但只能在您的
    计算机上缓慢运行。
  • 我遇到的实际问题是将列表作为输入，因此我对将任意矩阵函数向量化不感兴趣。
  • 内存问题在我的实际问题中更加复杂，因为该函数使用大量内存（它涉及子集数据帧）。

编辑：我正在考虑将 r 对象映射到临时文件的 mmap 包，但我仍在尝试解决如何使用它来解决这个问题。

4

1 回答 1

2

这是使用包的答案。这是一个很好的方法，因为它的内存占用非常小，几乎不会随着功能的进展而增加。这样就实现了您的目标之一。

然而，这是一个糟糕的方法，因为它有两个重大缺点......（1）它非常慢，如果你打开进程监视器，你可以看到磁盘和内存交换以相当悠闲的速度进行（在我的机器上，在至少）。事实上，它太慢了，我不确定它是否会随着它走得更远而变慢。我还没有完成它，只是刚刚过了当我在内存中运行函数时出现错误（大约项目 350 左右）以说服自己它比在内存中运行更好（此时磁盘对象为 73 GB）。这是第二个缺点，创建的磁盘对象很大。

所以这里希望其他人能更好地回答你的问题（也许是mmap？），我最有兴趣看到。 

# set up disk storage object
library(filehash)
dbCreate("myTestDB")
db <- dbInit("myTestDB")

# put data on disk
db$A <- sample(1:2000, 15000, replace = TRUE)
db$B <- as.list(rep(NA, length(db$A)))

# function
arbitraryMatrix <- function(n) {
  matrix(rnorm(n*n), ncol = n, nrow = n)
}

# run function by accessing disk objects
for ( i  in which(is.na(db$B)) ) {
  print(i)
  db$B[[i]] <- arbitraryMatrix( db$A[i] )
}

# run function by accessing disk objects, following
# Jon's comment to treat db as a list
for ( i  in which(is.na(db$B)) ) {
  print(i)
  db[[as.character(i)]] <- arbitraryMatrix( db$A[i] )
}
# use db[[as.character(1)]] etc to access the list items
于 2013-05-31T04:29:28.387 回答