1

我从很多人那里听说,R是为处理 PB 级数据而构建的。然而,另一方面,我也经常听到,如果你想处理例如 8 GB 的数据,你最好有至少 8 GB 的内存,否则你会遇到一些问题。

我的问题是,如果我需要处理 20 GB 的数据(我认为这在许多项目中相当普遍),我MemoryProcessor需要多少?如果您以前有任何经验,我很高兴知道 2 PB 的数据应该如何处理。

4

1 回答 1

5

我认为你不能一次用任何语言处理 2 PB 的数据(也许你可以使用一些特定的软件和/或硬件)。始终需要并行解决方案或小块加工。在 R 中,对象存储在虚拟内存中,因此您可以在 R 中同时拥有多少数据有一个明确的限制。检查R 中的内存限制

于 2013-03-13T06:37:11.510 回答