1

在 Andrew Ng 的 ML 课程的帮助下，我目前正在 Coursera 上学习 ML。我在 python 中执行作业，因为我更习惯它而不是 Matlab。我最近遇到了一个关于我对正则化主题的理解的问题。我的理解是，通过进行正则化，可以添加在预测中足够重要的不太重要的特征。但是在实现它时，我不明白为什么在计算成本时会跳过 theta(parameters) 的第一个元素，即 theta[0]。我已经提到了其他解决方案，但他们也做了同样的跳过没有解释。

这是代码：

`

 term1 = np.dot(-np.array(y).T,np.log(h(theta,X)))
 term2 = np.dot((1-np.array(y)).T,np.log(1-h(theta,X)))
 regterm = (lambda_/2) * np.sum(np.dot(theta[1:].T,theta[1:])) #Skip theta0. Explain this line
 J=float( (1/m) * ( np.sum(term1 - term2) + regterm ) )
 grad=np.dot((sigmoid(np.dot(X,theta))-y),X)/m
 grad_reg=grad+((lambda_/m)*theta)
 grad_reg[0]=grad[0]

`

这是公式：

正则化成本函数

这里 J(theta) 是成本函数 h(x) 是 sigmoid 函数或假设。lamnda 是正则化参数。

4

1 回答 1

0

Theta0 是指偏差。当我们希望正确分离决策边界时，偏见就会出现。只考虑一个例子

Y1=w1 * X 然后 Y2= w2 * X

当 X 的值接近于零时，可能很难将它们分开，这会导致角色出现偏差。

Y1=w1 * X + b1 和 Y2= w2 * X + b2

现在，通过学习，决策边界将始终清晰。

让我们考虑一下为什么我们现在使用正则化。

这样我们就不会过度拟合，并平滑曲线。正如你所看到的方程，它的斜率 w1 和 w2 需要平滑，偏差只是分离的截距。因此，在正则化中使用它们是没有意义的。

虽然我们可以使用它，但在神经网络的情况下它不会有任何区别。但我们可能会面临大幅降低偏差值的问题，这可能会混淆数据点。因此，最好不要在正则化中使用偏差。

希望它能回答你的问题。原文发表：https ://medium.com/@shrutijadon10104776/why-we-dont-use-bias-in-regularization-5a86905dfcd6

于 2019-01-03T07:52:51.107 回答