deep-learning - 在少于十层的网络中使用跳过连接是否有意义？

Question

我正在阅读 ResNet 论文中的跳过层连接，以及它们如何有助于训练非常深的网络。

在小于 10 层的较小（即类似 AlexNet）网络中使用此类连接是否有意义？

Answer 1

并非如此，因为它们的主要目的是改善通过网络的梯度流，这实质上是在不增加参数数量的情况下增加容量。但是，如果小型网络对您的用例有足够的容量，则您实际上并不需要更多容量。