machine-learning - 为什么我们要在使用 dropout 时缩放输出？

Question

从辍学论文：

“这个想法是在测试时使用单个神经网络而不会丢失。这个网络的权重是训练权重的缩小版本。如果在训练期间以概率 p 保留一个单元，则该单元的传出权重会相乘如图 2 所示，在测试时乘以 p。这确保对于任何隐藏单元，预期输出（在用于在训练时丢弃单元的分布下）与测试时的实际输出相同。”

为什么我们要保留预期的输出？如果我们使用 ReLU 激活，权重或激活的线性缩放会导致网络输出的线性缩放，并且对分类精度没有任何影响。

我错过了什么？

Answer 1

准确的说，我们要保留的不是“预期输出”，而是输出的预期值，也就是说，我们要弥补训练（当我们不传递某些节点的值时）和测试阶段的差异通过保留输出的平均（预期）值。

在 ReLU 激活的情况下，这种缩放确实会导致输出的线性缩放（当它们为正时），但您为什么认为它不会影响分类模型的最终准确性？至少在最后，我们通常应用 sigmoid 的 softmax，它们是非线性的并且依赖于这种缩放。