machine-learning - 带有偏差更新的神经网络 sigmoid 激活

Question

我试图弄清楚我是否正在使用 sigmoid 激活函数并正确使用偏差来创建人工神经网络。我希望一个偏置节点输入到所有隐藏节点，静态输出 -1 结合其权重，然后一个输出也静态输出 -1 结合其权重。然后我可以像训练其他神经元一样训练这些偏差，对吗？！

Answer 1

这是一个正确的推理，但是设置“-1”值（为什么不 +1？）相当罕见，我以前在文献中从未见过这种情况。如果您保持正确的图形结构，那么更新“真实”节点和“偏差节点”的权重之间没有区别。如果您不存储图形结构，则可能会出现唯一的区别，因此您不“知道”偏差（连接到输出节点的偏差）没有“子节点”，因此信号不会“反向传播”更深地进入网络. 我见过这样的代码，它们只是将层存储为数组，并将偏差放在索引 0 处，因此它们可以在反向传播期间从 1 迭代。显然，基于图形的实现更具可读性（但是由于您无法对计算进行矢量化，因此速度要慢得多）。