tensorflow - 为什么 Tensorflow 对象检测禁用 Faster R-CNN 的正则化

Question

在 Tensorflow 对象检测示例配置文件中，所有 Faster R-CNN 配置文件都禁用了正则化项

regularizer {
    l2_regularizer {
      weight: 0.0
    }
  }

我觉得这不合理，而且很可能会过度拟合。对此类设置有任何解释吗？谢谢你。

Answer 1

“应用诸如 maxout 或 dropout 之类的强正则化来在此数据集上获得最佳结果。在本文中，我们不使用 maxout/dropout，而只是通过设计的深薄架构简单地施加正则化，而不会分散对困难的关注的优化。但结合更强的正则化可能会改善结果，我们将在未来研究。[他等。al，用于图像识别的深度残差学习]

我认为作者所指的正则化直接应用在 RESNET 架构中来自于夹在每个转换层和每个激活之间的批处理规范层。虽然作者没有说明 L2 正则化的使用，但他们关于 maxout 和 dropout 的声明应该适用。BN 层具有在不施加显式惩罚的情况下对网络进行正则化的效果，因此不需要 L2 正则化。

也就是说，如果您想尝试更强的正则化，则可以选择该选项。