artificial-intelligence - 卷积神经网络需要归一化输入吗？

Question

在比较了两个归一化之后，我训练了一个卷积神经网络，

我发现简单的负均值除以标准方差比缩放到 [0, 1] 更好，似乎输入值的区间在 [0, 1] 和 sigmoid 函数中是不必要的。

有人可以解释一下吗？

Answer 1

如果您正在谈论使用逻辑回归的 NN，那么您是正确的，合适的 sigmoid 函数（或本文中的逻辑函数）将为您提供原始输入的 [0, 1] 范围。

但是，当输入在零两侧的小范围内时，逻辑函数效果最佳 - 例如，逻辑函数的输入可能是 [-3, +3]。

通过首先将数据重新缩放为 [0, 1]，您将展平任何基础分布并将所有数据移动到零的正侧，这不是逻辑函数所期望的。所以你会得到比归一化更糟糕的结果（即减去平均值并除以标准偏差，正如你所说），因为归一化步骤考虑了原始分布中的方差并确保平均值为零，所以你得到两个正和负数据输入到逻辑函数。

在您的问题中，您说“比较两个标准化”-我认为您误解了“标准化”的含义，实际上将标准化与重新缩放进行了比较，这是不同的。