machine-learning - 在哪些情况下，交叉熵优于均方误差？

Question

尽管上述两种方法都为更好的预测接近度提供了更好的分数，但仍然首选交叉熵。是在每种情况下还是在某些特殊情况下我们更喜欢交叉熵而不是 MSE？

score 63 · Accepted Answer

交叉熵是分类的首选，而均方误差是回归的最佳选择之一。这直接来自问题本身的陈述——在分类中，您使用非常特殊的一组可能的输出值，因此 MSE 的定义很差（因为它没有这种知识，因此以不兼容的方式惩罚错误）。为了更好地理解现象，最好遵循并理解它们之间的关系

您会注意到，两者都可以看作是最大似然估计量，只是对因变量有不同的假设。

score 40 · Accepted Answer

当您从概率和分布方面推导成本函数时，您可以观察到当您假设误差服从正态分布时会发生 MSE，而当您假设二项式分布时会发生交叉熵。这意味着当你使用 MSE 时，你隐含地在做回归（估计），而当你使用 CE 时，你在做分类。希望它有一点帮助。

score 9 · Accepted Answer

例如，如果您进行逻辑回归，您将使用 sigmoid 函数来估计去概率，交叉熵作为损失函数并使用梯度下降来最小化它。这样做但使用 MSE 作为损失函数可能会导致非凸问题，您可能会发现局部最小值。使用交叉熵将导致一个凸问题，您可能会在其中找到最佳解决方案。

3 回答 3