machine-learning - svmlight 警告：在 KT 条件下放松 epsilon

Question

我正在尝试使用 Svmlight 学习数据集。在优化过程中，我总是看到以下警告。

WARNING: Relaxing epsilon on KT-Conditions (0.010000).
.....................................................
WARNING: Relaxing epsilon on KT-Conditions (0.100000).
.....................................................
WARNING: Relaxing epsilon on KT-Conditions (1.000000).
.....................................................
WARNING: Relaxing epsilon on KT-Conditions (10.00000).
....................................................

它重要吗？这意味着什么？目前培训不成功。它可能与此警告有关吗？谢谢。

Answer 1

KT 条件是 SVM 核心的优化问题的一部分。无需过多详细地讨论该理论，当您拥有最佳解决方案时，会有一系列条件成立。然而，经历足够多的迭代以使 KT 条件完全正确需要更长的时间，而不仅仅是使它们在 espilon（一个非常小的数字）范围内为真。本质上，我们不是说 A 必须等于 B，而是说 A 必须在 + 或 - epsilon 内等于 B。研究发现，这在实践中与花额外的时间使条件完全正确一样有效。

SVM Light 首先尝试使用一个非常小的 epsilon，当它无法解决该问题时，它会通过尝试找到一个更大的 epsilon 来放松 epsilon，但很明显，如果问题无法解决，它会在决定之前尝试几次是无法解决的。

所以我会说这些警告是因为你的问题无法解决，而不是相反。