neural-network - 输入层是否应该包含偏置神经元？

Question

我想知道：在多层前馈神经网络中，输入层是否应该包含偏置神经元，或者这仅在隐藏层中有用？如果是这样，为什么？

Answer 1

不，输入层不需要连接到偏置神经元，因为它从偏置神经元接收到的任何激活都会被实际输入完全覆盖。

例如，想象一个试图解决经典XOR 问题的网络，使用这种架构（其中神经元刚刚标记为 1 是偏差）：

要在输入 (1,0) 上运行此网络，您只需钳制神经元 X1=1 和 X2=0 的激活。现在，如果 X1 或 X2 也收到了来自偏差的输入，那么无论如何该输入都会被覆盖，从而使这样的连接毫无意义。