我正在使用 Tensorflow 1.0 tf.layers 模块。但是,我发现很难理解在 tf.layers.conv2d 函数中应用批量标准化的位置。
如果我理解得很好,这个函数有 L2/L1 的内核和偏置正则化器,以及一个活动正则化器。然而,我的一个假设是活动正则化器是在激活函数之后而不是之前应用的。因此,它可以用于 dropout。我不明白批量标准化在哪里应用。我的想法是:
- 它是默认的并且一直使用吗?
- 我应该将激活函数应用为无,然后将结果通过批处理规范层,然后再单独激活吗?
第二个选项将起作用。但是,我觉得可以提供更优雅的答案。