neural-network - PReLU 激活函数更新规则

Question

我刚刚读完深入研究整流器论文。本文提出了一种新的激活函数，称为 PReLU。也许很明显，因为论文没有提到，但我想知道PReLU的参数'a'什么时候更新？是在权重更新前更新还是在权重更新后更新？还是与重量同时更新？

Answer 1

当误差信号通过网络的每一层传播回来时，权重都会按顺序更新。因此偏差和“a”参数都在将信号传递到下一层之前更新，因此在网络中它们下方的权重更新之前。