1

当我阅读一篇论文“批量标准化：通过减少内部协变量偏移来加速深度网络训练”时，我想到了一些问题。

在论文中，它说：

由于训练数据中的 m 个样本可以估计所有训练数据的均值和方差，因此我们使用 mini-batch 来训练批归一化参数。

我的问题是：

他们是选择 m 个示例然后同时拟合批规范参数，还是为每个输入维度选择不同的 m 个示例集？

例如，训练集由x(i) = (x1,x2,...,xn)：n维固定批次M = {x(1),x(2),...,x(N)}，执行拟合所有gamma1~gamman和beta1~betan。

对比

对于gamma_i,beta_i拣选不同批次M_i = {x(1)_i,...,x(m)_i}

4

1 回答 1

1

我还没有在交叉验证和数据科学上找到这个问题，所以我只能在这里回答。如有必要，请随意迁移。

使用移动平均值一次计算每个小批量中所有维度的均值和方差。下面是它在 TF 代码中的样子：

mean, variance = tf.nn.moments(incoming, axis)
update_moving_mean = moving_averages.assign_moving_average(moving_mean, mean, decay)
update_moving_variance = moving_averages.assign_moving_average(moving_variance, variance, decay)
with tf.control_dependencies([update_moving_mean, update_moving_variance]):
  return tf.identity(mean), tf.identity(variance)

你不应该担心技术细节，这就是发生的事情：

  • 首先，沿批次轴计算整个批次的mean和。它们都是向量（更准确地说，是张量）。varianceincoming
  • 然后当前值moving_mean和moving_variance通过assign_moving_average调用更新，这基本上计算了这个：variable * decay + value * (1 - decay).

每次执行 batchnorm 时，它都会知道一个当前批次和以前批次的一些统计信息。

于 2017-10-06T16:16:44.120 回答