5

我创建了一个函数，该函数被调用读取然后返回一个 data.table：

read.in.data <- function(filename)
{
    library(data.table)
    data.holder<-read.table(filename, skip=1)
    return(data.table(data.holder))
}

我从观察我的 RAM 作为函数过程中注意到，R 似乎分两步处理它（或者至少这是我对正在发生的事情的最佳猜测）。例如，当我加载一个 1.5 GB 的文件（15 列，每行总共 136 个字符）时，R 似乎 1）读取数据并使用 1.5 GB 的 RAM，然后 2）使用另一个 1.5 GB 的 RAM回报。

是否有一些技巧可以创建一个函数来创建一个 data.table （或 data.frame ）并返回 data.table 而无需在内存中重复？或者我必须在创建表的函数中对 data.table 进行所有处理吗？

观察：如果我连续两次运行这段代码，内存没有被清除；由于我只有 8 GB 的 RAM，因此该功能失败。如果我跳过将“read.table”存储在变量中的步骤（如下所示），我不会得到任何好处。我不想以任何方式这样做，因为我希望能够在返回之前清理 data.table 。解决我的问题还可以让我在不耗尽内存的情况下处理更大的文件。

short.read.trk <- function(fntrk)
{
    library(data.table)
    return(data.table(read.table(fntrk, skip=1)))
}
4

1 回答 1

2

如果内存节省主要是您所追求的，您可以一次将其转换为一列：

library(data.table)
read.in.data <- function(filename)
{
  data.holder <- read.table(filename, skip=1)
  dt <- data.table(data.holder[[1]])
  names(dt) <- names(data.holder)[1]
  data.holder[[1]] <- NULL

  for(n in names(data.holder)) {
    dt[, `:=`(n, data.holder[[n]]) ]
    data.holder[[n]] <- NULL
  }
  return(dt)
}

（未经测试）

它不会更快，实际上它可能更慢。但它应该更少浪费内存。

于 2013-02-08T23:47:40.520 回答