17

我正在实现一个依赖 3D 卷积的模型（用于类似于动作识别的任务），并且我想使用批量标准化（参见[Ioffe & Szegedy 2015]）。我找不到任何专注于 3D convs 的教程，因此我在这里做了一个简短的教程，我想和你一起回顾一下。

下面的代码引用了 TensorFlow r0.12，它明确地实例化了变量——我的意思是我没有使用 tf.contrib.learn，除了 tf.contrib.layers.batch_norm() 函数。我这样做既是为了更好地理解事情是如何在幕后工作的，也是为了获得更多的实施自由（例如，变量摘要）。

我将通过首先为全连接层编写示例，然后为 2D 卷积，最后为 3D 情况编写示例，从而顺利进入 3D 卷积情况。在浏览代码时，如果您可以检查一切是否正确完成，那就太好了 - 代码运行，但我不能 100% 确定我应用批处理规范化的方式。我以一个更详细的问题结束这篇文章。

import tensorflow as tf

# This flag is used to allow/prevent batch normalization params updates
# depending on whether the model is being trained or used for prediction.
training = tf.placeholder_with_default(True, shape=())

全连接（FC）案例

# Input.
INPUT_SIZE = 512
u = tf.placeholder(tf.float32, shape=(None, INPUT_SIZE))

# FC params: weights only, no bias as per [Ioffe & Szegedy 2015].
FC_OUTPUT_LAYER_SIZE = 1024
w = tf.Variable(tf.truncated_normal(
    [INPUT_SIZE, FC_OUTPUT_LAYER_SIZE], dtype=tf.float32, stddev=1e-1))

# Layer output with no activation function (yet).
fc = tf.matmul(u, w)

# Batch normalization.
fc_bn = tf.contrib.layers.batch_norm(
    fc,
    center=True,
    scale=True,
    is_training=training,
    scope='fc-batch_norm')

# Activation function.
fc_bn_relu = tf.nn.relu(fc_bn)
print(fc_bn_relu)  # Tensor("Relu:0", shape=(?, 1024), dtype=float32)

2D卷积（CNN）层案例

# Input: 640x480 RGB images (whitened input, hence tf.float32).
INPUT_HEIGHT = 480
INPUT_WIDTH = 640
INPUT_CHANNELS = 3
u = tf.placeholder(tf.float32, shape=(None, INPUT_HEIGHT, INPUT_WIDTH, INPUT_CHANNELS))

# CNN params: wights only, no bias as per [Ioffe & Szegedy 2015].
CNN_FILTER_HEIGHT = 3  # Space dimension.
CNN_FILTER_WIDTH = 3  # Space dimension.
CNN_FILTERS = 128
w = tf.Variable(tf.truncated_normal(
    [CNN_FILTER_HEIGHT, CNN_FILTER_WIDTH, INPUT_CHANNELS, CNN_FILTERS],
    dtype=tf.float32, stddev=1e-1))

# Layer output with no activation function (yet).
CNN_LAYER_STRIDE_VERTICAL = 1
CNN_LAYER_STRIDE_HORIZONTAL = 1
CNN_LAYER_PADDING = 'SAME'
cnn = tf.nn.conv2d(
    input=u, filter=w,
    strides=[1, CNN_LAYER_STRIDE_VERTICAL, CNN_LAYER_STRIDE_HORIZONTAL, 1],
    padding=CNN_LAYER_PADDING)

# Batch normalization.
cnn_bn = tf.contrib.layers.batch_norm(
    cnn,
    data_format='NHWC',  # Matching the "cnn" tensor which has shape (?, 480, 640, 128).
    center=True,
    scale=True,
    is_training=training,
    scope='cnn-batch_norm')

# Activation function.
cnn_bn_relu = tf.nn.relu(cnn_bn)
print(cnn_bn_relu)  # Tensor("Relu_1:0", shape=(?, 480, 640, 128), dtype=float32)

3D卷积（CNN3D）层案例

# Input: sequence of 9 160x120 RGB images (whitened input, hence tf.float32).
INPUT_SEQ_LENGTH = 9
INPUT_HEIGHT = 120
INPUT_WIDTH = 160
INPUT_CHANNELS = 3
u = tf.placeholder(tf.float32, shape=(None, INPUT_SEQ_LENGTH, INPUT_HEIGHT, INPUT_WIDTH, INPUT_CHANNELS))

# CNN params: wights only, no bias as per [Ioffe & Szegedy 2015].
CNN3D_FILTER_LENGHT = 3  # Time dimension.
CNN3D_FILTER_HEIGHT = 3  # Space dimension.
CNN3D_FILTER_WIDTH = 3  # Space dimension.
CNN3D_FILTERS = 96
w = tf.Variable(tf.truncated_normal(
    [CNN3D_FILTER_LENGHT, CNN3D_FILTER_HEIGHT, CNN3D_FILTER_WIDTH, INPUT_CHANNELS, CNN3D_FILTERS],
    dtype=tf.float32, stddev=1e-1))

# Layer output with no activation function (yet).
CNN3D_LAYER_STRIDE_TEMPORAL = 1
CNN3D_LAYER_STRIDE_VERTICAL = 1
CNN3D_LAYER_STRIDE_HORIZONTAL = 1
CNN3D_LAYER_PADDING = 'SAME'
cnn3d = tf.nn.conv3d(
    input=u, filter=w,
    strides=[1, CNN3D_LAYER_STRIDE_TEMPORAL, CNN3D_LAYER_STRIDE_VERTICAL, CNN3D_LAYER_STRIDE_HORIZONTAL, 1],
    padding=CNN3D_LAYER_PADDING)

# Batch normalization.
cnn3d_bn = tf.contrib.layers.batch_norm(
    cnn3d,
    data_format='NHWC',  # Matching the "cnn" tensor which has shape (?, 9, 120, 160, 96).
    center=True,
    scale=True,
    is_training=training,
    scope='cnn3d-batch_norm')

# Activation function.
cnn3d_bn_relu = tf.nn.relu(cnn3d_bn)
print(cnn3d_bn_relu)  # Tensor("Relu_2:0", shape=(?, 9, 120, 160, 96), dtype=float32)

我想确定的是，上面的代码是否完全按照[Ioffe & Szegedy 2015]在 Sec. 3.2：

对于卷积层，我们还希望归一化遵循卷积特性——以便同一特征图的不同元素在不同位置以相同的方式进行归一化。为了实现这一点，我们在一个小批量中联合标准化所有位置的所有激活。[...]阿尔格。图 2 进行了类似的修改，因此在推理过程中，BN 变换将相同的线性变换应用于给定特征图中的每个激活。

更新 我猜上面的代码对于 3D conv 案例也是正确的。事实上，当我定义我的模型时，如果我打印所有可训练变量，我也会看到预期的 beta 和 gamma 变量数量。例如：

Tensor("conv3a/conv3d_weights/read:0", shape=(3, 3, 3, 128, 256), dtype=float32)
Tensor("BatchNorm_2/beta/read:0", shape=(256,), dtype=float32)
Tensor("BatchNorm_2/gamma/read:0", shape=(256,), dtype=float32)

这对我来说看起来不错，因为由于 BN，为每个特征图（总共 256 个）学习了一对 beta 和 gamma。

[Ioffe & Szegedy 2015]：批量标准化：通过减少内部协变量偏移来加速深度网络训练

4

1 回答 1

2

那是一篇关于 3D batchnorm 的好文章，通常没有注意到 batchnorm 可以应用于任何秩大于 1 的张量。您的代码是正确的，但我不禁对此添加了一些重要说明：

  • “标准” 2D batchnorm（接受 4D 张量）在张量流中可能比 3D 或更高版本快得多，因为它支持fused_batch_norm应用一个内核操作的实现：

    融合批量规范将批量规范化所需的多个操作组合到单个内核中。批量规范是一个昂贵的过程，对于某些模型来说，它占了操作时间的很大一部分。使用融合批次规范可以导致 12%-30% 的加速。

    GitHub 上也存在支持 3D 过滤器的问题，但最近没有任何活动，此时该问题已关闭且未解决。

  • 尽管原始论文规定在 ReLU 激活之前使用 batchnorm（这就是您在上面的代码中所做的），但有证据表明在激活之后使用 batchnorm 可能更好。这是Francois Chollet在Keras GitHub 上的评论：

    ...我可以保证 Christian [Szegedy] 最近编写的代码在 BN 之前应用了 relu。不过，它仍然偶尔会成为争论的话题。

  • 对于任何有兴趣在实践中应用归一化思想的人来说，最近有这个想法的研究进展，即权重归一化和层归一化，它们解决了原始批处理规范的某些缺点，例如它们更适用于 LSTM 和循环网络。

于 2017-10-07T13:07:41.883 回答