python - 二进制对数损失是否排除了基于 y 的方程的一部分？

Question

假设对数损失方程为：

logLoss=−(1/N)*∑_{i=1}^N (yi(log(pi))+(1−yi)log(1−pi))

其中N是样本数，yi...yiN是因变量的实际值，pi...piN是逻辑回归的预测可能性

我如何看待它：

如果yi = 0那么第一部分yi(logpi) = 0

或者，如果yi = 1那么第二部分(1−yi)log(1−pi) = 0

所以现在，取决于y方程的一部分的值被排除在外。我是否正确理解这一点？

我的最终目标是了解如何解释日志丢失的结果。

Answer 1

是的，你在正确的轨道上。请记住p_i=P(y_i=1)，基本上这个想法是损失函数需要以这样一种方式定义，即它惩罚预测与实际标签不匹配的元组（例如，当y_i=1但p_i低时，由yi(logpi)部分处理, OR 当y_i=0butp_i很高时，由(1-yi)log(1-pi)部分处理），同时它不应该过多地惩罚预测与实际标签匹配的元组（例如，何时y_i=1和p_i高或何时y_i=0和p_i低）。

逻辑回归 ( cross entropy) 的损失函数正好解决了损失函数的上述期望属性，如下图所示。