tensorflow - tf.nn.relu 中的“relu”代表什么？

Question

在其API 文档中，它说“计算校正线性”。

它是 Re(ctified) L(inear)... 那么 U 是什么？

Answer 1

Re(ctified) L(inear) (U)nit

通常神经网络中的一个层有一些输入，比如一个向量，并将其乘以一个权重矩阵，即再次得到一个向量。

然后将结果中的每个值（通常是浮点数）视为输出。但是，如今神经网络中的大多数层都涉及非线性，因此您可能会说，附加函数会增加这些输出值的复杂性。长期以来，这些都是 sigmoids 和 tanhs。

但最近人们使用一个函数，如果输入为负，则结果为 0，如果输入为 0 或正，则输入本身。这个特定的附加功能（或更好的“激活功能”）称为 relu。

Answer 2

在 Friesel 的回答之上，我想添加 Relu 的两个重要特征。

1. 不可微分。

Relu 的图表：它是尖的，而不是弯曲的。

它被定义为f(x) = max(0,x) 因此它不可微分。

2. ReLU的导数很简单！比 sigmoid 更简单，即x(1-x).

The derivative of ReLU:
 1 if x > 0
 0 otherwise 

这是我们主要在隐藏层上使用的最简单的非线性函数。想想反向传播是多么容易！