2

我已经阅读了一些关于此的其他问题(和相关答案),但我仍然有疑问:向阈值激活函数添加偏差会改变阈值吗?据我所知,添加偏差应该会沿 x 轴移动激活函数,因此它也应该改变阈值。

假设我们只有一个输入节点和一个输出节点,输入节点有一个阈值激活函数,阈值设置为 0。现在如果我们给 1 作为输入,神经元将激活并返回1 * weight到输出节点,但是如果我们添加一个权重为 2 的偏置节点a_0 = -1,连接到输入节点,并给之前的输入 1,则神经元将不再激活,因为现在我们必须至少达到 2 才能激活它。这是否可以被视为“改变”阈值?

4

1 回答 1

4

您是否阅读过这些关于偏见的非常好的解释:偏见解释偏见解释 2

正如在第一个链接中所说,偏差将使曲线移动,因此计算结果将更加多样化。我认为如果您已经使用了偏差,则不需要使用阈值(将阈值设置为 0),因为偏差和阈值都在沿 x 轴移动激活函数时做同样的事情。

但我认为偏差比阈值更有效。这是因为偏差值只是权重,可以像神经网络中的任何其他权重一样计算。除了权重,阈值需要单独计算。encog 论坛中有一些有趣的偏差和阈值比较。

这是一个用偏差计算的神经网络:

用偏差计算

这是有阈值的

用阈值计算

两者都会给出相同的结果。如果您对完整计算感兴趣,可以阅读上面的 encog wiki。

所以我认为你的问题“偏差是否会改变激活函数的阈值”的答案是肯定的。在我关于混合 GA 和 NN 的论文中,我都尝试过,最终只使用偏差并将阈值设置为 0。

我希望我的回答可以帮助你,但如果你对我的回答有其他问题,请随时在评论中提问:)

于 2013-05-22T12:10:46.857 回答