0

我有一个 1360x92735 的 csv 数据集,我必须使用 R 的 FSelector 包(information.gain())来降低维数,但它需要大量内存。

我的问题是,我可以将 ff 包与 FSelector 结合使用吗?如果是,如何?

ps 我在 Linux 上有 8GB 的​​内存和 8GB 的​​交换空间。

谢谢。

[编辑]

我尝试将 ff 和 FSelector 包与 iris 数据集一起使用。它似乎运作良好,但现在我遇到了 ff 的问题。

我的 csv 数据集是 1303x92735,当我尝试使用 ff 对象使用 as.ffdf() 转换数据帧,或使用 read.csv.ffdf() 直接加载数据集时,R 会因“写入错误”而崩溃。

这里有人有同样的问题,但我不明白是否达到了解决方案。

谢谢。

4

1 回答 1

0

该错误可能是由于 ff 为 ff 数据框中的每一列打开一个文件。您有 92,735 列,这可能比系统配置的最大打开文件数多得多。我已经在 SO here 上回答了这个问题。

于 2016-12-05T14:37:22.503 回答