machine-learning - 训练时间和在 libsvm 中使用 gamma 和 C 过拟合

Question

我现在将 libsvm 用于具有高斯内核的支持向量机分类器。在它的网站上，它提供了一个 python 脚本 grid.py 来选择最好的 C 和 gamma。

我只是想知道训练时间和过拟合/欠拟合如何随 gamma 和 C 变化？

是否正确：

假设C从0变为+无穷大，训练出来的模型会从欠拟合到过拟合，训练时间增加？

假设 gamma 从几乎 0 变为 +infinity，训练后的模型会从欠拟合到过拟合，训练时间增加？

在 grid.py 中，默认的搜索顺序是 C 从小到大，但 gamma 从大到小。是为了训练时间从小到大，训练模型从欠拟合到过拟合吗？所以我们也许可以节省选择 C ​​和 gamma 值的时间？

谢谢并恭祝安康！

Answer 1

我没有确定答案的好问题，因为我自己也想知道。但在回答这个问题时：

所以我们也许可以节省选择 C ​​和 gamma 值的时间？

...我发现，对于 libsvm，C 和 gamma 肯定有一个“正确”的值，它高度依赖于问题。因此，无论搜索 gamma 的顺序如何，都必须测试 gamma 的许多候选值。最终，我不知道这个耗时（取决于您的问题）但必要的参数搜索的任何捷径。