neural-network - 为什么我们在 softmax 中使用 (exp) 而不是 (log)？

Question

我不太了解 log 和 exp 的关系。但是，我很困惑，softmax 回归中没有使用 log 吗？

概率部分的特征

Answer 1

Exp 是为所有实数值定义的，而 log 不是。

任何等于或小于零的向量元素都会导致 log 函数出现数值错误或未定义的行为。exp 没有这个问题。

为避免未定义，您需要为所有元素添加一个非常小的偏差。但是这个 epsilon 应该有多小？你怎么处理负数。您可能永远不会期望一个负数，而只是通过截断错误或非常接近浮点表示（一个非常小的值最终被表示为一个小的负数）来获得它。