backpropagation - ReL 是哪种类型的函数？

Question

我想知道 ReL 函数是线性函数还是恒等函数。

如果函数是线性的（意味着 y=kx+d），则函数可以“改变”更多。

另一方面，如果该函数是一个恒等函数（意思是 y=x），那么输出不会改变——至少对于正输入是这样。

据我所知，通过 ReLU 运行的正值没有改变。意思是，该函数（从 0 开始）是一个恒等函数。我的理解正确吗？

Answer 1

当它应用于一组均匀分布在零附近的输入值时，ReL 函数对于输入域的一半（在正输入值上）是线性的，而对于另一半是非线性的。因此，它被称为分段线性函数或铰链函数。