machine-learning - 当我们添加多项式特征时，损失函数是否变得非凸？

Question

当我们在多项式回归、逻辑回归、支持向量机的情况下使用多项式特征时，损失函数是否变得非凸？

Answer 1

X -> y如果您尝试估计的任何选择的损失函数都是凸的，那么添加一组固定的多项式特征不会改变这一点。您只是将初始问题与估计问题进行交易X' -> y，其中X'具有附加功能。

如果您还尝试估计新特征的参数，那么很容易在这些维度上获得非凸损失（假设有参数可供选择——如果您只是在谈论添加多项式基础那么这不适用）。

作为一些证明措施，以一维估计问题为例并选择特征f(x) = (x-a)^3。假设您的数据集具有单点(0, 0)。通过一些工作，您可以证明即使对于新特征的线性回归，损失在相对于参数的地方也是非凸的a。请注意，对于新特征，损失仍然是凸的——标准线性回归总是满足该属性——事实上，我们使用线性回归和多项式的选择来构建一个新的非凸回归器，导致这种行为.