0

残差块的权重矩阵是否已经设置为 0，或者我们需要将残差块的权重矩阵训练为接近 0？在什么情况下我们通过残差块的权重矩阵进行反向传播？我们什么时候跳过通过它们的反向传播来采取替代路线？

4

1 回答 1

0

反向传播通过两条路径发生，如果您有一个 concat 层将其正上方的块 B 连接起来，而 A 层连接为残差，则 A 的梯度将来自 concat 层和 A 之后的层。这样的跳跃连接是为了对抗深度网络中消失的梯度（反向传播的梯度随着它通过更多层而变得更小）

于 2020-01-20T08:58:36.680 回答