谁能用简单的话解释一下机器学习/神经网络领域的损失函数是什么？
这是在我学习 Tensorflow 教程时出现的： https ://www.tensorflow.org/get_started/get_started
问问题
14895 次
3 回答
29
它描述了您的网络产生的结果与预期结果相差多远——它表明了您的模型对其预测的误差幅度。
然后，您可以接受该错误并通过您的模型“反向传播”它，调整其权重并使其在下一次更接近真相。
于 2017-03-18T18:15:29.063 回答
16
损失函数是你如何惩罚你的输出。
以下示例适用于受监督的设置，即当您知道正确的结果时。尽管即使在无人监督的环境中也可以应用损失函数。
假设您有一个始终预测 1 的模型。只有标量值 1。
您可以将许多损失函数应用于此模型。L2 是欧几里得距离。
如果我传入一些值，比如 2，并且我希望我的模型学习 x**2 函数，那么结果应该是 4（因为 2*2 = 4）。如果我们应用 L2 损失，则其计算为 ||4 - 1||^2 = 9。
我们也可以自己制作损失函数。我们可以说损失函数总是 10。所以无论我们的模型输出什么，损失都是恒定的。
为什么我们关心损失函数？好吧，他们确定了模型在反向传播和神经网络的背景下的表现有多差。他们还确定要传播的最后一层的梯度，以便模型可以学习。
正如其他评论所建议的那样，我认为您应该从基本材料开始。这是一个很好的链接，可以从http://neuralnetworksanddeeplearning.com/开始
于 2017-03-18T18:12:52.900 回答
3
值得注意的是，我们可以谈论不同类型的损失函数：回归损失函数和分类损失函数。
回归损失函数描述了模型预测的值与标签的实际值之间的差异。
因此，当我们在单个时间点将预测与标签进行比较时，损失函数对标签数据具有意义。
这种损失函数通常称为误差函数或误差公式。
我们用于回归模型的典型误差函数是 L1 和 L2、Huber 损失、分位数损失、log cosh 损失。
注意：L1 损失也称为平均绝对误差。L2 损失也称为均方误差或二次损失。
分类的损失函数表示分类问题（识别特定观察属于哪个类别的问题）中预测不准确所付出的代价。
仅举几例：对数损失、焦点损失、指数损失、铰链损失、相对熵损失等。
注意：虽然更常用于回归，但平方损失函数可以重写并用于分类。
于 2018-11-29T14:08:03.680 回答