machine-learning - 对 CNN 中跳过层的实现感到困惑

Question

我正在阅读有关 AlphaGo Zero 的网络结构的信息，并遇到了这个备忘单：

我很难理解跳跃连接是如何在维度上工作的。

具体来说，似乎每个残差层都以它接收到的输入的 2 个堆叠副本结束。这不会导致输入大小随着网络的深度呈指数增长吗？

是否可以通过更改 conv2d 滤波器的输出通道大小来避免这种情况？我看到 in_C 和 out_C 在 pytorch 中不必相同，但我知道的不够多，无法理解这些值不同的含义。

Answer 1

使用跳过连接，您确实可以最终获得每个连接的两倍通道数。当您将通道连接在一起时就是这种情况。但是，如果您控制输出通道的数量（您所说的），它不一定必须呈指数增长out_C。

例如，如果您有一个提供总共n通道的跳过连接，并且卷积层将in_C通道作为输入。然后您也可以定义out_C，n使得串联后的通道数等于2*n。最终，您决定每个卷积的输出通道数，这完全取决于网络容量以及它能够学习多少。