neural-network - A concern about the bias node in ann

Question

OK so I get the idea of the bias node. It moves the transfer function curve horizontally to make it better fit the data. The problem I see is that the bias node weight value is computed just like any other weights. Is this right? Should the bias weight be computed in some other manner? And also shouldn't there be another bias value to move the transfer function up and down? Like this: f(x1+x2...+b1)+b2. I have no idea on how you would compute b2. Any Ideas?

Answer 1

对于您的第一个问题，像任何其他权重一样计算偏置节点权重值，即使用反向传播是最合理的训练方式并且效果很好。还有其他的训练方法，但经验性的反向传播方法更好。

第二个问题的答案是 f(x1+x2...+b1)+b2 没有意义。您的激活函数 (f) 有一个一维输入。y 轴绘制输出。偏差不会改变函数曲线的形状。对于函数在 y 轴上的每个截距，您将在 X 轴上获得唯一的截距。所以 X 轴截距足以描述曲线。就像 y=mx+c 足以描述任何一行一样。

f(x1+x2...+b1)+b2 可以分解为 f(x'1+x'2...+b'1) 用于所有权重为 x'1 , x'2... b'1 可以在图上合并函数的垂直矩，这将成为您的新激活函数。