python - 为什么不对分类问题使用均方误差？

Question

我正在尝试使用 LSTM 解决一个简单的二元分类问题。我试图找出网络的正确损失函数。问题是，当我使用二元交叉熵作为损失函数时，与使用均方误差 (MSE) 函数相比，训练和测试的损失值相对较高。

经过研究，我发现应该使用二元交叉熵来解决分类问题，使用 MSE 来解决回归问题。但是，在我的情况下，使用 MSE 进行二元分类，我得到了更好的准确性和更少的损失值。

我不确定如何证明这些获得的结果是合理的。为什么不对分类问题使用均方误差？

Answer 1

我想用一个例子来展示它。假设一个 6 类分类问题。

假设，真实概率 = [1, 0, 0, 0, 0, 0]

案例 1： 预测概率 = [0.2, 0.16, 0.16, 0.16, 0.16, 0.16]

案例 2： 预测概率 = [0.4, 0.5, 0.1, 0, 0, 0]

案例 1 和案例 2 中的 MSE 分别为0.128和0.1033。

虽然，案例 1 正确地预测了实例的类别 1，但案例 1 中的损失高于案例 2 中的损失。

Answer 2

尽管@nerd21 为“MSE 作为损失函数对 6 类分类不利”给出了一个很好的例子，但对于二元分类来说却不一样。

让我们考虑二进制分类。标签是[1, 0]，一个预测是h1=[p, 1-p]，另一个预测是h2=[q, 1-q]，因此他们的 MSE 是：

L1 = 2*(1-p)^2, L2 = 2*(1-q)^2

假设 h1 是错误分类，即p<1-p，因此0<p<0.5 假设 h2 是正确分类，即q>1-q，因此0.5<q<1 ThenL1-L2=2(p-q)(p+q-2) > 0是肯定的： p < q是肯定的； q + q < 1 + 0.5 < 1.5，因此p + q - 2 < -0.5 < 0；因此L1-L2>0，即L1 > L2

这意味着对于以 MSE 作为损失函数的二元分类，错误分类肯定会比正确分类带来更大的损失。

Answer 3

答案就在你的问题中。二元交叉熵损失的值高于均方根损失。

案例 1（大错误）：

假设您的模型预测为 1e-7，而实际标签为 1。

二元交叉熵损失将为 -log(1e-7) = 16.11。

均方根误差将为 (1-1e-7)^2 = 0.99。

案例 2（小错误）

假设您的模型预测为 0.94，实际标签为 1。

二元交叉熵损失将为 -log(0.94) = 0.06。

均方根误差将为 (1-1e-7)^2 = 0.06。

在预测与现实相距甚远的情况 1 中，与 RMSE 相比，BCELoss 具有更大的值。当你有很大的损失值时，你会有很大的梯度值，因此优化器将在与梯度相反的方向上采取更大的步骤。这将导致相对更多的损失减少。

Answer 4

我想分享我对 MSE 和二元交叉熵函数的理解。

在分类的情况下，我们取argmax每个训练实例的概率。

现在，考虑一个二元分类器的示例，其中模型将概率预测为[0.49, 0.51]。在这种情况下，模型将1作为预测返回。

现在，假设实际标签也是1.

在这种情况下，如果使用 MSE，它将0作为损失值返回，而二进制交叉熵将返回一些“有形”值。而且，如果以某种方式使用所有数据样本，经过训练的模型预测出相似类型的概率，则二元交叉熵有效地返回一个大的累积损失值，而 MSE 将返回一个0.

根据 MSE，它是一个完美的模型，但实际上，它并不是那么好的模型，这就是为什么我们不应该使用 MSE 进行分类。