9

对于测试期间的批量标准化,如何计算每个激活输入(在每一层和输入维度中)的均值和方差?是记录训练的均值和方差,计算整个训练集的均值和方差,还是计算整个测试集的均值和方差?

很多人说要预先计算均值和方差,但是如果使用计算整个测试集的均值和方差的方法,是不是需要在进行前向传播时计算整个测试集的均值和方差? (不是“前”)?

非常感谢您的帮助!

4

2 回答 2

12

当您在测试中进行预测时,您总是使用训练的统计数据——无论是简单的转换还是批量标准化。

我建议尝试 cs231n 课程以了解更多信息。以下是我在执行此代码时编写批处理规范化的方法:github 链接

如果测试统计数据与训练有显着差异,这意味着测试总体上是不同的,模型将无法正常工作。在这种情况下,无论如何您都需要找到不同的训练数据。但更准确地说 - 当您在以某种方式处理的数据上训练模型时,它在以不同方式处理的数据上效果不佳。

让我们假设只有 1 个测试样本 - 即您想为一个客户或其他什么进行预测。在这种情况下,您根本无法计算测试统计信息。其次,让我们进行批量标准化。数据已标准化,现在的值显示原始数据与某个平均值有多少标准偏差。因此模型将使用此信息进行训练)。如果您使用测试统计数据对测试数据进行标准化,则值将显示与不同平均值的偏差。

于 2017-08-04T07:20:26.923 回答
5

在训练时记录经验均值和方差,例如稍后用于测试集的运行平均值,而不是计算每个测试批次的均值和方差。

于 2019-12-04T16:56:27.730 回答