machine-learning - 在大型 arff 数据集文件上运行 weka

Question

我有一个arff包含NLP 相关项目的700 entries每个文件。42000+ features现在格式是密集格式，但如果使用稀疏表示，条目可以大大减少。尽管将限制增加到 1536 MB，但我正在运行core 2 duo machine with 2 GB RAM，并且正在获取。memory out of range eception

如果我将 arff 文件转换为稀疏表示，或者我是否需要在功能更强大的机器上运行我的代码，会有什么好处吗？

Answer 1

根据算法的内部数据结构以及数据的处理方式（增量或全部在内存中），它是否需要更多内存。所以你需要的内存取决于算法。

因此，稀疏表示对您来说更容易，因为它很紧凑，但是据我所知，该算法将需要相同数量的内存来从相同的数据集创建模型。输入的格式应该对算法透明。