据我了解,在深度神经网络中,我们在应用权重 (w) 和偏差(b) 后使用激活函数 (g) (z := w * X + b | a := g(z))
。所以有一个复合函数(g o z)
和激活函数使得我们的模型可以学习线性函数以外的函数。我看到 Sigmoid 和 Tanh 激活函数使我们的模型非线性,但我看到 ReLu(从 0 和 z 中取出最大值)可以使模型非线性......
假设如果每个 Z 始终为正,那么就好像没有激活函数......
所以我的问题是,为什么 ReLu 在神经网络中使模型成为非线性模型?