2

我有 20 个大型 CSV（每个 100-150MB）文件，我想在 R 中加载并将它们 rbind 到一个大文件中并执行我的分析。读取每个 CSV 文件仅在一个内核上执行，大约需要 7 分钟。我使用的是 64 位 8 核 linux 和 16GB RAM，所以资源应该不是问题。

有没有办法更有效地执行这个过程？我也对其他（开源 linux）软件持开放态度（例如将 CSV 文件绑定到不同的程序中并在 R 中加载）或任何可以使这个过程更快的东西。

非常感谢你

4

1 回答 1

1

也许你想要一个像paste. 这是一个合并文件行的bash函数。

于 2012-09-06T10:34:45.520 回答