machine-learning - 线性回归和非线性回归的区别？

Question

在机器学习中，我们说：

• w ₁ x ₁ + w ₂ x ₂ +...+ w _n x _n是一个线性回归模型，其中 w ₁ ,w ₂ ....w _n是权重，x ₁ ,x ₂ ...x ₂是的特点，而：
• w ₁ x ₁ ² + w ₂ x ₂ ² +...+ w _n x _n ²是非线性（多项式）回归模型

但是，在一些讲座中，我看到人们说模型是基于权重的线性模型，即权重系数是线性的，并且特征的程度无关紧要，无论它们是线性（x ₁）还是多项式（x ₁ ² )。真的吗？如何区分线性模型和非线性模型？它是基于权重还是特征值？

Answer 1

如何区分线性模型和非线性模型？它是基于权重还是特征值？

我只在“模型相对于特征是线性/非线性”中听说/读过它。这通常是有趣的事情。我看不出在你的模型中有一个术语 w _i ²会对你有什么帮助，因为它本质上是一个常数。只有功能在测试期间发生变化。

所以线性模型可以表示为

w _i定义您的模型， x _i是您的输入。不同的 w _i会导致不同的模型（但它们对于特征都是线性的）。如果您的模型不适合该方案，那么您的模型就特征而言不是线性的。

现在，您可以添加本质上只是（手工制作的）输入非线性变换的新功能。例如，您可以制作一个模型

你可以说这是一个关于输入的非线性模型。但是，您也可以争辩说它本质上是模型

我认为这里的重要部分是它是手工制作的。你改变了特征空间，而不是模型的能力。所以它仍然是一个线性模型，但是在另一个特征空间中。当你这样做时，你可以使任何模型成为非线性的。

毕竟：这真的重要吗？这听起来有点像你在准备考试。如果是这种情况，我建议只问你的讲师并坚持他定义的线性/非线性。

Answer 2

两种口味都存在。

如果您在统计社区，它通常是前者（特征非线性，x^2 或 e^x 等）。参见这个例子。

在机器学习社区中，重点更多地放在权重上。特征函数可以是任何东西（例如参见SVM中的内核技巧）。

原因是不同的社区有不同的方法来解决这些类似的问题。统计社区有更多的直接和分析方法；而机器学习的目标略有不同（在未知的概念空间中建模错综复杂的模式）。

Answer 3

请加入 Stats SE 并添加到此讨论中。我认为在这种情况下更合适。但是，为了说服您至少点击链接，这里是简短答案：“如果（且仅当）模型噪声（误差）的统计分布可以仅使用观察值、因子和/或预测变量的线性组合来描述，该模型是线性的。否则，它不是。

如您所见，我对其进行了统计分析，因为那是我的教育背景（实际上更多的是应用数学，最近重点关注概率）。这意味着当您从真值（向量）中减去模型的预测值时，该方程必须是可表示的（有时通过数学变换）作为因子/预测变量和真值数据作为向量的线性组合一个线性空间。