c++ - Caffe 中的交叉熵实现

Question

查看sigmoid_cross_entropy_loss_layer.cpp中的源代码，这是caffe中交叉熵损失函数的源代码，我注意到实际错误值的代码是

  for (int i = 0; i < count; ++i) {
    loss -= input_data[i] * (target[i] - (input_data[i] >= 0)) -
        log(1 + exp(input_data[i] - 2 * input_data[i] * (input_data[i] >= 0)));
  }

这似乎与我在这里找到的 Caffe 或 C++ 实现文档中的 CE 损失函数有很大不同：

https://visualstudiomagazine.com/Articles/2014/04/01/Neural-Network-Cross-Entropy-Error.aspx?Page=2

或者实际上是 CE 损失函数的定义。

这是某种近似吗？我首先认为这是 log⁡(1−x) 的泰勒级数展开，但它根本不像那样工作。

Answer 1

该层实现的损失不仅仅是交叉熵。该层实现了 Sigmoid 激活，然后是交叉熵损失。这允许在数值上更稳定地实现损失。

有关更多信息，请参阅此线程。还有这个线程。