machine-learning - 交叉熵和对数损失误差有什么区别？

Question

交叉熵和对数损失误差有什么区别？两者的公式似乎非常相似。

Answer 1

它们本质上是相同的；通常，我们将术语log loss用于二进制分类问题，而更一般的交叉熵（loss）用于多类分类的一般情况，但即使这种区分也不一致，您会经常发现使用的术语作为同义词可互换。

从Wikipedia entry for cross-entropy：

逻辑损失有时称为交叉熵损失。它也被称为日志丢失

来自fast.ai wiki 关于日志丢失的条目[链接现已失效]：

对数损失和交叉熵根据上下文略有不同，但在机器学习中，当计算 0 到 1 之间的错误率时，它们会解决相同的问题。

来自ML 备忘单：

交叉熵损失或对数损失衡量分类模型的性能，其输出是介于 0 和 1 之间的概率值。