6

我有一个程序可以输出要加载到数据框中的 CSV 数据行。我目前像这样加载数据：

tmpFilename <- "tmp_file"
system(paste(procName, ">", tmpFilename), wait=TRUE)
myData <- read.csv(tmpFilename) # (I also pass in colClasses and nrows for efficiency)

但是，我认为将输出重定向到一个文件只是为了从中读取是低效的（程序吐出大约 30MB，所以我想以最佳性能处理它）。我认为textConnection会解决这个问题，所以我尝试了：

con <- textConnection(system(procName, intern=TRUE))
myData <- read.csv(con)

但是，这运行速度要慢得多，而第一个解决方案会随着输入大小线性下降，但该textConnection解决方案的性能似乎呈指数级下降。最慢的部分是创建textConnection. read.csv这里实际上比第一个解决方案完成得更快，因为它是从内存中读取的。

那么我的问题是，read.csv就速度而言，创建一个文件只是为了在它上面运行是我最好的选择吗？有没有办法加快 textConnection 的创建速度？奖金：为什么创建 textConnection 这么慢？

4

1 回答 1

3

“最快的方式”可能会涉及使用 read.csv 以外的其他内容。但是，坚持使用 read.csv，使用管道可能是要走的路：

myData <- read.csv(pipe(procName))

它避免将全文输出读入中间缓冲区（至少在 read.csv 得到它之前）。

一些时间比较：

> write.csv(data.frame(x=rnorm(1e5)), row.names=FALSE, file="norm.csv")
> system.time(d <- read.csv("norm.csv"))
   user  system elapsed 
  0.398   0.004   0.402 
> system.time(d <- read.csv(textConnection(system("cat norm.csv", intern=TRUE))))
   user  system elapsed 
 56.159   0.106  56.095 
> system.time(d <- read.csv(pipe("cat norm.csv")))
   user  system elapsed 
  0.475   0.012   0.531
于 2013-07-01T01:44:14.273 回答