machine-learning - 为什么在ANN中BIAS是必要的？我们应该为每一层设置单独的 BIAS 吗？

Question

我想建立一个模型来预测输入信号的未来响应，我的网络架构是 [3, 5, 1]：

• 3个输入，
• 隐藏层中的 5 个神经元，以及
• 输出层中的 1 个神经元。

我的问题是：

1. 我们是否应该为每个隐藏层和输出层设置单独的 BIAS？
2. 我们是否应该在每一层为 BIAS 分配权重（因为 BIAS 成为我们网络的额外价值并导致网络负担过重）？
3. 为什么 BIAS 总是设置为 1？如果 eta 具有不同的值，为什么我们不将 BIAS 设置为不同的值？
4. 为什么我们总是对非线性函数使用 log sigmoid 函数，我们可以使用 tanh 吗？

Answer 1

所以，我认为如果我们退后一步讨论偏置单元在 NN 中扮演的角色，大部分内容都会很清楚。

偏置单元旨在允许网络中的单元学习适当的阈值（即在达到某个总输入后，开始发送正激活），因为通常正的总输入意味着正激活。

例如，如果您的偏置单元与某个神经元 x 的权重为 -2，那么如果所有其他输入加起来大于 -2，则神经元 x 将提供正激活。

因此，以此为背景，您的答案：

1. 不，一个偏差输入总是足够的，因为它可以根据每个单元的权重不同地影响不同的神经元。
2. 一般来说，对每个非输入单元设置偏置权重是一个好主意，因为否则那些没有偏置权重的单元的阈值将始终为零。
3. 由于阈值，一旦学习应该在试验中保持一致。请记住，偏差表示每个单元如何与输入交互；它本身不是输入。
4. 你当然可以而且很多人都可以。任何压扁函数通常都用作激活函数。