deep-learning - ReLU 什么时候会杀死神经元？

Question

我对垂死的 ReLU 问题感到困惑。ReLU 只会在前向传播期间杀死神经元？还是在向后传球期间？</p>

Answer 1

随机初始化（所以在开始时）和反向传播期间梯度消失的组合可能会导致这样一种状态，即在前向传播期间某些单元永远不会被激活（或者我们可以说某些神经元永远不会触发）。此外，下一个反向传递可能不会有足够大的梯度来改变状态。