14

有很多关于如何读取多个 CSV 并将它们绑定到一个数据框中的文档。我有 5000 多个 CSV 文件需要读取并绑定到一个数据结构中。

特别是我在这里进行了讨论：Issue in Loading multiple .csv files into single dataframe in R using rbind

奇怪的是，base R 比我尝试过的任何其他解决方案都要快得多。

这是我的 CSV 的样子：

> head(PT)
  Line          Timestamp       Lane.01 Lane.02 Lane.03 Lane.04 Lane.05 Lane.06 Lane.07 Lane.08
1    PL1    05-Jan-16 07:17:36      NA      NA      NA      NA      NA      NA      NA      NA
2    PL1    05-Jan-16 07:22:38      NA      NA      NA      NA      NA      NA      NA      NA
3    PL1    05-Jan-16 07:27:41      NA      NA      NA      NA      NA      NA      NA      NA
4    PL1    05-Jan-16 07:32:43    9.98   10.36   10.41   10.16   10.10    9.97   10.07    9.59
5    PL1    05-Jan-16 07:37:45    9.65    8.87    9.88    9.86    8.85    8.75    9.19    8.51
6    PL1    05-Jan-16 07:42:47    9.14    8.98    9.29    9.04    9.01    9.06    9.12    9.08

我创建了三种读取和绑定数据的方法。这些文件位于一个单独的目录中，我将其定义为：

dataPath <- "data"
PTfiles <- list.files(path=dataPath, full.names = TRUE)

方法 1：基础 R

classes <- c("factor", "character", rep("numeric",8))

# build function to load data
load_data <- function(dataPath, classes) { 
   tables <- lapply(PTfiles, read.csv, colClasses=classes, na.strings=c("NA", ""))
   do.call(rbind, tables)
}

#clock
method1 <- system.time(
   PT <- load_data(path, classes)
)

方法 2： read_csv 在这种情况下，我创建了一个包装函数供 read_csv 使用

#create wrapper function for read_csv
read_csv.wrap <- function(x) { read_csv(x, skip = 1, na=c("NA", ""),
                      col_names = c("tool", "timestamp", paste("lane", 1:8, sep="")),
                      col_types = 
                         cols(
                            tool = col_character(),
                            timestamp = col_character(),
                            lane1 = col_double(),
                            lane2 = col_double(),
                            lane3 = col_double(),
                            lane4 = col_double(),
                            lane5 = col_double(),
                            lane6 = col_double(),
                            lane7 = col_double(),
                            lane8 = col_double()
                           )
                     )
}

##
# Same as method 1, just uses read_csv instead of read.csv

load_data2 <- function(dataPath) { 
   tables <- lapply(PTfiles, read_csv.wrap)
   do.call(rbind, tables)
}

#clock
method2 <- system.time(
   PT2 <- load_data2(path)
)

方法3： read_csv +dplyr::bind_rows

load_data3 <- function(dataPath) { 
   tables <- lapply(PTfiles, read_csv.wrap)
   dplyr::bind_rows(tables)
}

#clock
method3 <- system.time(
   PT3 <- load_data3(path)
)

我想不通的是，为什么 read_csv 和 dplyr 方法在它们应该更快的情况下会更慢。CPU时间减少了，但是为什么经过的时间（文件系统）会增加？这里发生了什么？

编辑- 我data.table按照评论中的建议添加了方法

方法四 data.table

library(data.table)

load_data4 <- function(dataPath){
   tables <- lapply(PTfiles, fread)
   rbindlist(tables)
}

method4 <- system.time(
   PT4 <- load_data4(path)
)

从 CPU 的角度来看，该data.table方法是最快的。但问题仍然read_csv在于使它们如此缓慢的方法发生了什么。

> rbind(method1, method2, method3, method4)
        user.self sys.self elapsed
method1      0.56     0.39    1.35
method2      0.42     1.98   13.96
method3      0.36     2.25   14.69
method4      0.34     0.67    1.74
4

2 回答 2

2

我会在终端（Unix）中这样做。我会将所有文件放在同一个文件夹中，然后导航到该文件夹​​（在终端中），使用以下命令仅创建一个 CSV 文件：

cat *.csv > merged_csv_file.csv

关于此方法的一个观察结果是每个文件的标题将显示在观察结果的中间。为了解决这个问题，我建议你这样做：

仅从第一个文件中获取标题

head -2 file1.csv > merged_csv_file.csv

然后使用以下命令跳过其他文件的前“X”行，其中“X”是要跳过的行数。

tail -n +3 -q file*.csv >> merged_csv_file.csv

-n +3使尾部打印行从第 3 行到末尾，-q告诉它不要打印带有文件名的标题（阅读手册），>>添加到文件中，而不是将其覆盖为 >。

于 2020-02-26T19:59:33.847 回答
0

我可能发现了一个相关的问题。我正在从一些模拟输出中读取嵌套的 CSV 数据，其中多个列具有 CSV 格式的数据作为元素，我需要将其取消嵌套和重塑以进行分析。

在我进行多次运行的模拟中，这导致需要解析数千个元素。使用 map(.,read_csv) 这将需要几个小时来转换。当我重写脚本以在 lambda 函数中应用 read.csv 时，操作将在seconds 内完成。

我很好奇是否有一些中间系统 I/O 操作或错误处理会造成单个输入文件不会遇到的瓶颈。

于 2022-02-06T20:51:56.460 回答