python - Skip Connections的科学解释

Question

我正在寻找有关 skip-connections 的科学工作。

每个人都在谈论改善通过网络的梯度流，这感觉是有道理的。但我很想理解和阅读这意味着什么，涉及到数学和代码，以及如何在 tensorflow 中深入实现它。

除了resnet 论文之外，我还没有找到任何关于那些神奇的跳过连接的深入信息。

我很喜欢所有的提示、论文和方程式。

Answer 1

我不确定除了它改善梯度流之外还有什么，因为它可以很容易地了解何时来自上一层的信息不必改变太多。除此之外，我会说它类似于 RNN，其中对于较大的时间步长，它往往会忘记早期层的依赖关系。类似地，当你有一个 CNN 网络时，我们使用池化层来减小输入的大小以使其变得更小，我们这样做是以牺牲一些信息为代价的，因此它有助于在我们可以从早期层和后面的层获得的信息之间建立依赖关系。此外，跳过连接的作用是它们有助于解决比没有跳过连接更容易的优化问题。

希望能帮助到你。