machine-learning - 隐藏层所有节点的输入都相同，那么它们的输出如何区分？

Question

我是深度学习的新手，并试图理解隐藏层背后的概念，但我不清楚以下几点：

如果有 3 个隐藏层。当我们将第二层所有节点的输出作为第三层所有节点的输入时，第三层节点的输出有什么不同，因为它们获得相同的输入+相同的参数初始化（根据我读到的内容，我假设一层的所有节点都获得相同的随机参数权重）。

如果我想错了方向，请纠正我。

Answer 1

简单的答案是因为随机初始化。

如果您在整个神经网络 (NN) 中使用相同的权重，那么所有节点将产生相同的输出。

这是因为在使用反向传播算法时，误差会根据每个节点的激活强度进行分散。如果它们开始相同，则错误将平均分布，因此 NN 中的节点将无法学习不同的特征。

所以基本的随机初始化确保每个节点都是专门的。因此在学习后，即使输入相同，隐藏层中的节点也会产生不同的输出。

希望这可以帮助。