我正在使用 SVM-light 进行研究,并且效果很好(至少它仍在处理中)
svm_learn.exe -t 3 -m 4000 learn_data model
这里的 Learn_data 是大约 14.000.000 行数据和 20.000 个特征。
但是-z p
对于排名模式的标志,它会因 1.000.000 行数据而崩溃:
svm_learn.exe -t 3 -z p -m 4000 learn_data_1mil model
因此:
OK. (10000000 examples read)
Constructing 1380570988 rank constrains...Out of memory!: Not enough space
当前设置是 64GB 的 RAM,SVM 似乎并没有尝试使用所有这些。我尝试使用超过 4000 MB 作为缓存,最高可达 20000。但这没有帮助,如果它是缓存错误,SVM 应该告诉缓存而不仅仅是内存错误。没有找到记录的方法来解决它。可以做些什么来处理我的数据?