machine-learning - 神经网络中的偏差单元总是一个吗？

Question

我已经研究了几个星期的神经网络，并注意到所有指南和文档都没有提到偏置单元和/或总是假设它是 1。是否有任何理由或案例我们希望偏置单元不是 1 ? 还是将其作为网络中的可调参数？

编辑：对不起，我是堆栈溢出的新手，发现了类似的问题，所以我认为这是一个问的好地方，谢谢你纠正我。

编辑：当人们提到偏见时，他们在大多数情况下指的是bias_weight：

Bias&BiasUnit

偏置单元也是我们在反向传播中得到偏置 Δb 方程的原因：Δb = ΔY * 1（* 1 通常被省略，因为它对方程没有影响）

希望清除思考。

Answer 1

这个问题更适合交叉验证或数据科学（根本与代码无关）。

我认为你有一个误解，偏置项是一个可训练的参数，在训练过程中也会学习和更新。

我想我知道你的困惑的根源是什么（如果我错了，请纠正我）。在许多地方，偏置项作为常数 1 元素并入输入向量 x。

因此，如果我们有以下输入：

一些操作的输出可以写成：

其中训练的参数是：

但也可以这样写：

但是，尽管我们在输入中有常数 1，因为它仍然是可训练的参数之一，所以偏差仍然可以是任何值。