machine-learning - 为什么初始网络中没有 dropout 层？

Question

我最近在实现 InceptionNet，遇到了在早期或中期阶段根本没有在网络中实现 dropout 层的场景。这有什么特别的原因吗？

Answer 1

它实际上具有类似于 dropout 的轻微正则化效果。可以这样想，我们正在为该层选择具有某种可能性的每个节点，因此我们创建具有可能性的 NN 架构。类似的情况在这里也是有效的，但这次我们应用了所有的可能性。因此，初始网络有助于防止过度拟合参数，以便进行学习以获得更深入的理解，请查看原始论文，但这只是观察而不是证明。

Answer 2

你可以看到这篇论文发布的模型：