neural-network - 用于训练神经网络的 MSE 成本函数

Question

在一本关于神经网络和深度学习的在线教科书中，作者从最小化二次成本函数的角度说明了神经网络的基础知识，他说二次成本函数是均方误差的同义词。不过，有两件事让我对他的功能感到困惑（下面的伪代码）。

MSE≡(1/2n)*∑‖y_true-y_pred‖^2

1. 不是将平方误差的总和除以训练示例的数量n为什么而是除以2n？这是什么意思？
2. 为什么使用双杠符号而不是括号？这让我想到还有一些其他的计算正在进行，例如 L2 范数，但没有明确显示。我怀疑情况并非如此，该术语旨在表达简单的旧平方误差之和。不过超级混乱。

非常感谢您提供的任何见解！

Answer 1

成本函数乘以的 0.5 因子并不重要。事实上，你可以将它乘以你想要的任何实常数，并且学习结果是一样的。它仅用于成本函数相对于输出的导数只是 $$y - y_{t}$$。这在某些应用程序中很方便，例如反向传播。

Answer 2

符号 ∥v∥ 仅表示向量 v 的通常长度函数。来自您引用的在线教科书。

在此处查找有关双杠的更多信息。但据我了解，你基本上可以把它看成一个绝对的名词。

我不确定为什么它说2n，但并不总是2n。例如Wikipedia将函数编写如下：

谷歌搜索均方误差也有很多使用维基百科的来源，而不是在线教科书中的theo ne。

Answer 3

双条是距离度量，如果 y 是多维的，则括号不正确。对于均方误差，n 没有 2，但这并不重要。它将被学习率吸收。然而，在评估导数时，通常会取消平方数 2。