r - 将多个 CSV 文件中的数据读取到单个 ffdf 对象中

Question

是否可以将多个文件中的数据一次加载到 ff 数据帧 (ffdf) 中？可以说我有

big_file_part1.csv
big_file_part2.csv
big_file_part3.csv

我知道我可以将每个 csv 文件加载到一个单独的 ffdf 对象中，然后将它们 ffdfrbind.fill 在一起。但这似乎是一种低效的方式，加载两次。有没有更直接的方法？

Answer 1

我就是这样做的（请注意，我的源数据没有任何标题）。

第一步 - 确保所有文件都在同一个文件夹中。将您的工作目录设置为该文件夹。

#load the ffbase library
library(ffbase)

#create a vector of the files that I want to load
temp = list.files(pattern="*.csv")

#create the first ffdf object for i = 1, this is necessary to establish the ff dataframe to append the rest
for (i in 1)
  mydata <- read.csv.ffdf(file=temp[i], header=FALSE, VERBOSE=TRUE
          , first.rows=100000, next.rows=100000, colClasses=NA)

#loop through the remaining objects
for (i in 2:length(temp))
  mydata <- read.csv.ffdf(x = mydata, file=temp[i], header=FALSE, VERBOSE=TRUE
            , first.rows=100000, next.rows=100000)