artificial-intelligence - 使用ReLU时如何确定神经网络最后一层的范围

Question

我对神经网络比较陌生。Atm 我正在尝试编写一个神经网络，用于对 0 到 10 之间的数字进行简单的图像识别。我的目标是激活函数是 ReLU（校正线性单元）。

使用 sigmoid 函数，您很清楚如何最终确定某个案例的概率（因为它在 0 和 1 之间）。

但据我了解，使用 ReLU 我们没有这些限制，但最终可以得到任何值作为先前“神经元”的总和。那么这通常是如何解决的呢？

• 我是否只取所有值中的最大值并说概率为 100%？
• 我是否总结了所有价值并说那是 100%？
• 还是有另一种我看不到atm的方法？

我希望我的问题是可以理解的。提前感谢您抽出宝贵时间查看我的问题。

Answer 1

您不能将 ReLU 函数用作分类任务的输出函数，因为正如您所提到的，它的范围不能表示概率 0 到 1。这就是为什么它仅用于回归任务和隐藏层的原因。

对于二进制分类，您必须使用范围在 0 到 1 之间的输出函数，例如 sigmoid。在您的情况下，您将需要一个多维扩展，例如 softmax 函数。