r - bigmemory 和有文件支持的朋友的示例

Question

我有兴趣探索 R 如何处理内存不足的数据。我找到了bigmemory包和朋友（bigtabulate和biganalytics），但希望有人能指出我使用这些包的文件支持的已解决示例。任何其他内存不足提示也将不胜感激。

Answer 1

查理，请给Mike和Jay发电子邮件，他们有一两年前的 ASA 'flights' 数据库示例有很多示例。

编辑：事实上，文档选项卡有我的想法；脚本也在网站上。

Answer 2

看看“ CRAN 任务视图：使用 R 进行高性能和并行计算”。有一章“大内存和内存不足数据”提到了严重的解决方案。例如包ff。

Answer 3

任何其他内存不足提示也将不胜感激。

我经常处理大型数据集。即使我的代码已经过优化，我仍然会不时启动 Amazon EC2 实例，因为它让我可以访问比我办公桌上更多的资源。例如，具有 26 个 ECU、8 个内核和 68 GB RAM 的实例的成本仅为每小时 0.80-1.00 美元（现货实例定价）。

如果这看起来合理，您可以启动一个已经具有 R 的公共机器映像并立即完成这项工作。