r - 将大文件读入 R

Question

我是 R 的新手，但我知道它会阻塞“大”文件。我正在尝试读取一个 200MB 的数据文件。我已经尝试过使用 csv 格式并将其转换为制表符分隔的 txt，但在这两种情况下，我都会在文件加载之前用完 4GB 的 RAM。

R 会使用 4GB 或内存来加载 200MB 的文件是正常的，还是文件有问题，导致 R 继续读取除了数据之外的一堆虚无？

Answer 1

从?read.table

Less memory will be used if colClasses is specified as one of the six atomic vector classes.

...

Using nrows, even as a mild over-estimate, will help memory usage.

使用这两个参数。

确保numeric为您的数字数据正确指定。请参见此处：在 read.csv 中指定 colClasses

并且不要低估 nrows。

如果您运行的是 64 位 R，则可以尝试 32 位版本。它将使用更少的内存来保存相同的数据。

另请参见：在 R 中扩展内存大小限制