neural-network - 在神经网络中，偏差应该有动量项吗？

Question

是否应该将动量也添加到网络中每个节点的偏置项中，或者最好只添加到权重上？

Answer 1

偏差和权重。如果你只是将它应用于权重，偏差会滞后于权重，人为地增加误差并减慢收敛速度。

将偏差简单地视为一个权重——一个始终为 1 的额外输入。