例如，对于 3-1-1 层，如果权重初始化相同，则 MLP 可能无法很好地学习。但是为什么会这样呢？
问问题
214 次
2 回答
1
您的问题标题中似乎有错字。我猜你的意思是为什么隐藏层的权重应该是随机的。对于您指出的示例网络（3-1-1），这无关紧要，因为您在隐藏层中只有一个单元。但是，如果您在全连接网络的隐藏层中有多个单元（例如，3-2-1），您应该随机化权重，因为否则，隐藏层的所有权重都将相同地更新。这不是您想要的，因为每个隐藏层单元都会产生相同的超平面，这与该层中只有一个单元没有什么不同。
于 2012-11-30T16:59:46.143 回答
1
如果隐藏层中只有一个神经元，那没关系。但是，想象一个在隐藏层中有两个神经元的网络。如果它们的输入具有相同的权重，那么两个神经元将始终具有完全相同的激活，那么拥有第二个神经元就没有额外的信息。在反向传播步骤中，这些权重会发生相同的变化。因此，在每次迭代中，那些隐藏的神经元都具有相同的激活。
于 2012-11-30T17:25:57.857 回答