r - 使用 BIG DATA 进行 SVM 建模

Question

为了在 R 中使用 SVM 进行建模，我使用了带有 Windows Xp 操作系统和 2 GB RAM 的 kernlab 包（ksvm 方法）。但是有更多的数据行如 201497，我不能提供更多的内存来处理数据建模（遇到问题：不能分配大于 2.7 GB 的向量大小）。

因此，我使用亚马逊的微型和大型实例进行单片机建模。但是，它与本地机器有同样的问题（不能分配大于 2.7 GB 的向量大小）。

谁能建议我用大数据建模解决这个问题，或者这有什么问题吗？

Answer 1

如果没有可重现的示例，很难说数据集是否太大，或者脚本的某些部分是否次优。一些通用的指针：

• 查看High Performance Computing Taskview，它列出了与使用 BigData 相关的主要 R 包。
• 您使用整个数据集来训练您的模型。您可以尝试获取一个子集（例如 10%）并在其上拟合您的模型。重复此过程几次将深入了解模型拟合是否对您使用的数据子集敏感。
• 一些分析技术，例如 PCA 分析，可以通过迭代地处理数据来完成，即以块的形式。这使得对非常大的数据集（>> 100 gb）的分析成为可能。我不确定这是否可行kernlab。
• 检查您使用的 R 版本是否为 64 位。
• 这个较早的问题可能很有趣。