22

在 tensorflow 1.4 中,我发现了两个进行批量标准化的函数,它们看起来一样:

  1. tf.layers.batch_normalization链接
  2. tf.contrib.layers.batch_norm链接

我应该使用哪个功能?哪个更稳定?

4

2 回答 2

57

只是为了添加到列表中,还有更多方法可以在 tensorflow 中进行批处理规范:

  • tf.nn.batch_normalization是一个低级操作。调用者负责自己处理meanvariance张量。
  • tf.nn.fused_batch_norm是另一个低级操作,与前一个类似。不同之处在于它针对 4D 输入张量进行了优化,这是卷积神经网络中的常见情况。tf.nn.batch_normalization接受任何秩大于 1 的张量。
  • tf.layers.batch_normalization是对先前操作的高级包装。最大的区别在于它负责创建和管理运行均值和方差张量,并在可能的情况下调用快速融合操作。通常,这应该是您的默认选择
  • tf.contrib.layers.batch_norm是批处理规范的早期实现,在它升级到核心 API(即tf.layers)之前。不推荐使用它,因为它可能会在未来的版本中被删除。
  • tf.nn.batch_norm_with_global_normalization是另一个已弃用的操作。目前,将调用委托给tf.nn.batch_normalization,但将来可能会被丢弃。
  • 最后,还有 Keras 层keras.layers.BatchNormalization,在 tensorflow 后端调用的情况下tf.nn.batch_normalization
于 2017-12-28T11:04:07.617 回答
7

doc所示,tf.contrib是一个包含易失性或实验性代码的贡献模块。完成function后,将从该模块中删除。现在有两个,为了兼容历史版本。

所以推荐前者tf.layers.batch_normalization

于 2017-12-28T07:12:48.883 回答