machine-learning - 神经网络中的阈值和偏差

Question

我是新手..我不明白为什么我们在MLP（Multi-Layer Perceptron）中使用阈值和偏差？？阈值，偏差有什么作用..我不知道输出的公式（我们使用后的结果激活函数，例如 sigmoid）遵循偏差和阈值。在同一个文档中，我看到：

output_value=activation_function(summing_function+threshold) (follow Jeff Heaton)
output_value=activation_function(summing_function-threshold)(follow my teacher)
output_value=activation_function(summing_function+bias) (no problem!)

哪个是正确的？？请给我一个回应！

而且，偏差和阈值可以在 MLP 中同时存在？

Answer 1

MLP 中的偏差和阈值是相同的概念，简单地说 - 同一事物的两个不同名称。符号无关紧要，因为偏差既可以是正面的也可以是负面的（但更常见的是使用+ 偏差）。

用最简单的术语来说——如果没有偏差，那么对于只有0's 的输入，你会得到summing_function=0，结果也是output_value=0（因为大多数激活函数都穿过原点）。结果，您的网络无法学习此类信号的任何其他行为，因为整个模型中只有变化的部分是权重。

从更数学的角度来看 - 这负责转移激活函数并赋予神经网络通用逼近器能力。