deep-learning - Leaky-ReLU 的缺点是什么？

Question

我们使用 ReLu 代替 Sigmoid 激活函数，因为它没有像 sigmoid 一样的激活函数中存在的梯度消失和爆炸问题，
Leaky-ReLU 是 Rely 的改进之一。每个人都在谈论 Leaky-ReLU 的优势。但是 Leaky-ReLU 的缺点是什么？

Answer 1

ReLU 取代了隐藏层中的 sigmoid，因为它为通用应用程序产生了更好的结果，但它确实取决于您的情况，其他激活函数可能会更好。Leaky ReLU 有助于解决梯度消失问题。

我认为 Leaky ReLU 的主要缺点是你需要调整另一个参数，即斜率。但我说这真的取决于你的问题，哪个功能更好。

Answer 2

冒险：
LeakyRelu 是“不朽的”。
如果你用你的 Relu 神经网络玩够了，一些神经元就会死掉。（特别是 L1、L2 归一化）检测死亡神经元很困难。更努力地纠正它们。
缺点：
您将在每个时期添加计算工作。（乘以比分配零更难）
根据工作，您可能需要更多的时期才能收敛。
负 z 处的斜率是另一个参数，但不是非常关键的参数。
当你达到较小的学习率时，死神经元往往会保持死状态。