facebook - 有人可以解释 BatchNorm 在 ResNeXT https://github.com/facebookresearch/ResNeXt 神经网络中的执行位置吗？

Question

我正在阅读https://arxiv.org/pdf/1611.05431.pdf上描述 ResNeXT（Resnet 的变体）的原始论文。

在第 5 页右上角的列中，它说：

ReLU 在每个 BN 之后立即执行，期望在添加到快捷方式之后执行 ReLU 的块的输出，如下 [14]。

这句话没有意义，尤其是逗号后面的部分“期望输出......”。

• 有人能解释一下这句话是什么意思吗？
• BN 在哪里执行？

Answer 1

ResNeXt 使用与 ResNet 相同的 conv-bn-relu 策略。方案如下：

您可以在官方ResNet repo中查看 ResNet 的方案。

可能你被论文中的错字弄糊涂了：“expect”这个词你应该读作“except”。