machine-learning - 在收敛性方面比较 MSE 损失和交叉熵损失

Question

对于一个非常简单的分类问题，我有一个目标向量 [0,0,0,....0] 和一个预测向量 [0,0.1,0.2,....1]，交叉熵损失会更好地收敛/更快还是 MSE 会丢失？当我绘制它们时，在我看来，MSE 损失的误差幅度较低。为什么会这样？

或者例如，当我将目标设为 [1,1,1,1....1] 时，我得到以下信息：

score 7 · Accepted Answer

你听起来有点迷茫...

比较 MSE 和交叉熵损失的值并说一个低于另一个就像比较苹果和橘子
MSE 用于回归问题，而交叉熵损失用于分类问题；这些上下文是互斥的，因此比较它们相应损失度量的数值是没有意义的
正如您所说，当您的预测向量像[0,0.1,0.2,....1]（即具有非整数分量）时，问题是回归（而不是分类）问题；在分类设置中，我们通常使用 one-hot 编码的目标向量，其中只有一个分量为 1，其余为 0
的目标向量[1,1,1,1....1]可能是回归设置中的情况，也可能是多标签多类分类中的情况，即输出可能同时属于多个类

最重要的是，您的绘图选择（水平轴上的预测百分比（？））令人费解 - 我从未在 ML 诊断中见过这样的绘图，我不太确定它们究竟代表什么或为什么它们可以有用...

如果您想详细讨论分类设置中的交叉熵损失和准确性，您可以看看我的这个答案。

score 7 · Accepted Answer

作为已接受答案的补充，我将回答以下问题

从概率角度对 MSE 损失和交叉熵损失的解释是什么。
为什么交叉熵用于分类而MSE用于线性回归？

TL;DR如果（随机）目标变量来自高斯分布，则使用 MSE 损失；如果（随机）目标变量来自多项分布，则使用分类交叉熵损失。

MSE（均方误差）

线性回归的假设之一是多变量正态性。由此可见，目标变量是正态分布的（更多关于线性回归的假设可以在这里和这里找到）。

具有均值 $\mu$ 和方差的高斯分布（正态分布） $\sigma^2$ 由下式给出。
$\mathcal{N}(x|\mu,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
在机器学习中，我们经常处理均值 0 和方差 1 的分布（或者我们将数据转换为均值 0 和方差 1）。在这种情况下，正态分布将是，
$\mathcal{N}(x|\mu=0,\sigma^2=1)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$ 这称为标准正态分布。
对于具有权重参数 $\mathbf{w}$ 和精度（逆方差）参数的正态分布模型，给定输入 $\beta$ 观察到单个目标的概率由以下等式表示tx

$\mathcal{p(t|x,\mathbf{w},\beta)=\mathcal{N}(t|y(x,\mathbf{w}),\beta^{-1})$ , 其中 $y(x,\mathbf{w})$ 是分布的平均值，由模型计算为
$y(x,\mathbf{w})=\sum_{i=1}^{m}w_ix^i$

$\mathbf{t}$ 现在给定输入的目标向量的概率 $\mathbf{X}$ 可以表示为

$p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta)=\prod_{n=1}^{N}\mathcal{N}(t_n|y(x_n,\mathbf{w}),\beta^{-1})=$ $\prod_{n=1}^{N}\frac{\beta}{\sqrt{2\pi}}e^{-\beta\frac{(t_n-y(x_n,w))^2}{2}}$
取左右项的自然对数产生

$\ln p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta)=\ln \prod_{n=1}^{N}\frac{\beta}{\sqrt{2\pi}}e^{-\beta\frac{(t_n-y(x_n,w))^2}{2}}$
$=-\frac{\beta}{2}\sum_{n=1}^N\left{y(x_n,w)-t_n\right}^2+\frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi)=$ $\ln L(\mathbf{w},\beta}|\mathbf{X},\mathbf{t})$
$\ln L(\mathbf{w},\beta}|\mathbf{X},\mathbf{t})$ 正常函数的对数似然在哪里。通常训练模型涉及优化关于的似然函数 $\mathbf{w}$ 。现在参数 $\mathbf{w}$ 的最大似然函数由下式给出（关于的常数项 $\mathbf{w}$ 可以省略），

$\ln L(\mathbf{w},\beta}|\mathbf{X},\mathbf{t})=-\frac{\beta}{2}\sum_{n=1}^N\left{y(x_n,w)-t_n\right}^2$

对于训练模型，省略常数 $\frac{-\beta}{2}$ 不会影响收敛。 $\ln L(\mathbf{w},\beta}|\mathbf{X},\mathbf{t})=\sum_{n=1}^N\left{y(x_n,w)-t_n\right}^2$ 这称为平方误差并取mean收益率均方误差。
$\frac{1}{N}\ln L(\mathbf{w},\beta}|\mathbf{X},\mathbf{t})=\frac{1}{N}\sum_{n=1}^N\left{y(x_n,w)-t_n\right}^2$ ,

交叉熵

在进入更一般的交叉熵函数之前，我将解释特定类型的交叉熵 - 二元交叉熵。

二元交叉熵

二元交叉熵的假设是目标变量的概率分布是从伯努利分布中得出的。根据维基百科

伯努利分布是随机变量的离散概率分布，它以概率 p 取值 1，以概率 q=1-p 取值 0

伯努利分布随机变量的概率由下式给出
$P(Y=k)=p^k(1-p)^{1-k}$ ，其中 $k\in\left{0,1\right}$ p 是成功概率。这可以简单地写为 $P(y)=p^y(1-p)^{1-y}$
取两边的负自然对数收益率

$-\ln P(y)=-y\ln(p)-(1-y)\ln(1-p)$ ，这称为二元交叉熵。

分类交叉熵

当随机变量是多变量（来自多项分布）时，交叉熵的推广遵循以下概率分布的一般情况

$P(\mathbf{Y})=\prod_{n=1}^{N}p_n^{y_n}(1-p_n)^{1-y_n}={p_n}^{\sum_{n=1}^{N}y_n}(1-p_n)^{n-\sum_{n=1}^{N}y_n}}$

两边取负自然对数产生分类交叉熵损失。

$-\ln P(y)=-(\sum_{n=1}^{N}y_n\ln(p_n)+(1-y_n)\ln(1-p_n))$ ,

machine-learning - 在收敛性方面比较 MSE 损失和交叉熵损失

2 回答 2

MSE（均方误差）

交叉熵

二元交叉熵

分类交叉熵

Related

Reference