relu - 为什么在神经网络的最后一层使用 ReLu？

Question

建议我们在学习回归时在神经网络的最后一层使用 ReLu。这对我来说很有意义，因为 ReLu 的输出并不局限于 0 和 1 之间。

但是，当 x < 0（即 ReLu 输出为零时）时，它的表现如何。y（回归的结果）还能小于 0 吗？

我相信，我在这里缺少一个基本的数学概念。任何帮助表示赞赏。

Answer 1

您通常使用：

• 用于回归的线性层以获得连续值
• Softmax 用于您需要类的概率分布的分类

但这些都不是一成不变的。如果您知道回归的输出值应该只是正数，为什么不使用 ReLu？如果您的分类输出不是概率分布（例如，存在哪些类），您可以轻松地使用 sigmoid。