machine-learning - 将输入数据缩放到神经网络

Question

我们是否必须缩放神经网络的输入数据？它如何影响神经网络的最终解决方案？

我试图找到一些可靠的消息来源。《统计学习要素》一书（第 400 页）说，这将有助于选择合理的初始随机权重。

不管我们使用的初始随机权重如何，最终权重都不是确定性的吗？

谢谢你。

Answer 1

首先，有许多类型的人工神经网络，我假设你在谈论最简单的一种——带有反向传播的多层感知器。

其次，在您的问题中，您混合了数据缩放（归一化）和权重初始化。

您需要在学习时随机初始化权重以避免对称性（如果所有权重最初相同，则它们的更新也将相同）。通常，具体值无关紧要，但太大的值会导致收敛速度变慢。

您不需要对数据进行规范化，但规范化可以使学习过程更快。有关更多详细信息，请参阅此问题。