问题标签 [r-bigmemory]

我有兴趣探索 R 如何处理内存不足的数据。我找到了bigmemory包和朋友（bigtabulate和biganalytics），但希望有人能指出我使用这些包的文件支持的已解决示例。任何其他内存不足提示也将不胜感激。

我最近开始使用 R 进行数据分析。现在我在对大型查询数据集进行排序时遇到了问题（在 ASCII 模式下约为 1 GB，在我的笔记本电脑的 4GB RAM 下处于二进制模式）。使用bigmemory::big.matrix这个数据集是一个很好的解决方案，但是在gbm()orrandomForest()算法中提供这样一个矩阵“m”会导致错误：

class(m) 输出以下内容：

有没有办法正确地将big.matrix实例传递给这些算法？

有没有人能够使用 randomForest 和 bigmemory 库建立分类（不是回归）。我知道不能使用“公式方法”，我们不得不求助于“x=predictors，y=response 方法”。看来大内存库无法处理具有分类值的响应向量（毕竟它是一个矩阵。就我而言，我有两个级别，都表示为字符。

根据 bigmemory 文档...“数据帧将字符向量转换为因子，然后将所有因子转换为数字因子级别”

有什么建议的解决方法可以让 randomForest 分类与 bigmemory 一起使用吗？

全部，

我正在 64 位 Windows 7 上使用 R2.14。

我正在尝试对 big.matrix 对象进行平方（非常感谢开发人员），并且可能需要将其提高到更高的功率。

根据我的研究，bigalgebra 软件包就在我的街道上，但它似乎仍在建设中。

big.matrix 对象上的代数有什么替代方法吗？

提前致谢。W。

我正在使用 r 读取维度为 3131875*5 的数据read.big.matrix。我的数据有字符和数字列，包括日期变量。我应该使用的命令是

但type = NA在这种情况下，R 不接受，我收到一个错误：

我需要知道type这里应该是什么。我尝试了类似的选项，double但这给了我同样的错误。

请帮我。

我尝试在Rbigmemory中使用包，但我一开始就被困住了。我愿意：

并得到一个字符矩阵。没关系。但后来我尝试：

我得到一个充满 NA 的矩阵和以下消息：

我不确定发生了什么，但它看起来很大。尽管 .matrix 试图将我所有的文本转换为数字type = "char"。如何让它发挥作用？

我是big.matrix和相关包的新手，我尝试重现以下示例```

来自文档，但最后一行给了我以下错误：

最后一行说类似"there is no method for transform this S4 class to a vector"

你能给我指点一下吗？

我的 R 版本是

这里有没有人成功地将大矩阵导出到 R 中的雪团？bigmatrix 和 attach.resource 示例中的注释行说可以这样做，但我没有成功。

即使我使用文件支持的大矩阵它也会崩溃（这很奇怪，因为它甚至不使用共享内存）

我正在尝试将 bigmemory 包导入 R。我从 CRAN 下载了该包并将其保存在本地计算机上的 R 包库中。在 RI 中键入 library 命令以导入包：

但我收到以下错误：

我已经毫无问题地加载了其他包，但不知道为什么此时会出现错误。我还没有找到其他似乎有这个问题的人。有任何想法吗？

我正在做一些分析，需要我从 7000x182 数组计算距离矩阵（现在是欧几里德，以后可能是马氏），这将产生一个 7000x7000 矩阵（假设我也采用矩阵的上半部分）。

我遇到的问题是我不断收到“无法分配向量...”警告。我已经阅读了足够多的内容，知道 R 无法在我的 PC 上分配足够的连续内存来执行该操作。我的 PC 有 3GB 的 RAM，尽管我尽了最大努力或 rm()'ing 对象，使用 gc()，通过 memory.limit(size=####) 增加我对 R 的内存分配，但它不起作用。

我喜欢我所读到的关于 bigmemory 库的内容。但是，当我尝试安装它时，我收到一条警告，指出它在 R 2.15.2 上不可用。我在这里错过了什么吗？有没有解决的办法？我已经阅读了其他一些用于管理大数据的 R 工具，但没有一个像 bigmemory 这样适合我的任务。