0

实际上,我在我的网络中使用了 batchnorm,例如:

conv_layer = tf.layers.conv2d(inputs=x, filters=16, kernel_size=[3, 3], padding="same", activation='relu')
pooling_layer = tf.layers.average_pooling2d(inputs=conv_layer , pool_size=[2, 2], strides=1)
batchnorm = tf.layers.batch_normalization(pooling_layer)

但我不知道它是否适用于激活之前或之后。我似乎在追求,但我不确定。

在网站上:https ://www.tensorflow.org/api_docs/python/tf/compat/v1/layers/batch_normalization 他们声明他们的参考文献是 Ioffe et al., 2015,在激活之前适用。但是,我想对它们进行试验并比较它们的结果。不幸的是,我在使用 tensorflow 1 时没有找到如何做到这一点。

任何人都可以帮助我吗?

4

0 回答 0