python - BatchNorm 动量约定 PyTorch

Question

batchnorm动量约定（默认 = 0.1）是否与其他库中的一样正确，例如 Tensorflow，默认情况下它似乎通常为 0.9 或 0.99？或者，也许我们只是使用不同的约定？

Answer 1

似乎pytorch中的参数化约定与tensorflow中的不同，因此pytorch中的0.1相当于tensorflow中的0.9。

更准确地说：

在张量流中：

running_mean = decay*running_mean + (1-decay)*new_value

在 PyTorch 中：

running_mean = (1-decay)*running_mean + decay*new_value

这意味着decayPyTorch 中的值等于 Tensorflow 中的值(1-decay)。