问题标签 [bias-neuron]

我想建立一个模型来预测输入信号的未来响应，我的网络架构是 [3, 5, 1]：

• 3个输入，
• 隐藏层中的 5 个神经元，以及
• 输出层中的 1 个神经元。

我的问题是：

1. 我们是否应该为每个隐藏层和输出层设置单独的 BIAS？
2. 我们是否应该在每一层为 BIAS 分配权重（因为 BIAS 成为我们网络的额外价值并导致网络负担过重）？
3. 为什么 BIAS 总是设置为 1？如果 eta 具有不同的值，为什么我们不将 BIAS 设置为不同的值？
4. 为什么我们总是对非线性函数使用 log sigmoid 函数，我们可以使用 tanh 吗？

我想知道：在多层前馈神经网络中，输入层是否应该包含偏置神经元，或者这仅在隐藏层中有用？如果是这样，为什么？

我昨天发布了一个问题，是关于我在 XOR 运算符的反向传播神经网络中遇到的问题。我做了更多的工作，并意识到这可能与没有偏置神经元有关。

我的问题是，一般偏置神经元的作用是什么，它在识别 XOR 算子的反向传播神经网络中的作用是什么？是否可以创建一个没有偏置神经元的神经元？

我创建了一个神经网络 matlab。这是脚本：

现在我想保存网络的权重和偏差并写出方程。我保存了权重和偏差：

所以，我已经完成了数据预处理，我写了下面的等式

但是使用相同的输入 input=[1:8] 我得到不同的结果。为什么？怎么了？请帮帮我！这一点很重要！

我使用 Matlab R2010B

我已经阅读了一些关于此的其他问题（和相关答案），但我仍然有疑问：向阈值激活函数添加偏差会改变阈值吗？据我所知，添加偏差应该会沿 x 轴移动激活函数，因此它也应该改变阈值。

假设我们只有一个输入节点和一个输出节点，输入节点有一个阈值激活函数，阈值设置为 0。现在如果我们给 1 作为输入，神经元将激活并返回1 * weight到输出节点，但是如果我们添加一个权重为 2 的偏置节点a_0 = -1，连接到输入节点，并给之前的输入 1，则神经元将不再激活，因为现在我们必须至少达到 2 才能激活它。这是否可以被视为“改变”阈值？

我正在构建一个前馈神经网络，并试图决定如何实现偏差。我不确定两件事：

1）与虚拟输入+权重相比，将偏差作为节点的特征来实现有什么缺点吗？

2）如果我将其实现为虚拟输入，它会仅在第一层（从输入到隐藏层）中输入，还是我需要在每一层都有一个虚拟输入？

谢谢！

PS我目前正在使用二维数组来表示层之间的权重。对其他实现结构有什么想法吗？这不是我的主要问题，只是寻找思考的食物。

I'm trying to get started with neural network and implement boolean functions like AND/OR. Instead of using 0, and 1 as binary inputs, they use -1 and +1. Is there a reason why we cannot use (0, 1)? As an example: http://www.youtube.com/watch?v=Ih5Mr93E-2c

我通过在基本网络上使用具有 sigmoid 激活函数的 encog 库制作了小型乘法神经网络。我的问题是我在未经训练的数据上遇到了很大的错误。我怎样才能更好地增强未经训练的数据。更不容易出错。

首先我尝试：train.getError() > 0.00001 到 train.getError() > 0.0000001 将错误减少到更少会产生更清晰的结果。但这并没有帮助。

增加隐藏层也没有帮助：network.addLayer(new BasicLayer(new ActivationSigmoid(),false,128));

我试图增加每层的神经元数量，但也没有帮助

我怎样才能得到更清晰的结果？

什么是偏见？什么时候使用它？

我看过： http ://www.heatonresearch.com/wiki/Activation_Function 但我只使用sigmoid。何时使用其他人或我需要更改激活功能？

这是我的代码：

这是我最后一次尝试似乎更有效但还不是很好：

我想出了一个使用神经网络来解决分类问题的方法。我也有相同的权重向量。数据是 5 维的，隐藏层有 5 个神经元。假设神经元 1 有输入权重 w11, w12, ...w15 我必须解释这些权重的物理解释......就像这些权重的组合，它在问题中代表什么。是否存在任何这样的解释或者是神经元没有具体的解释吗？

我试图弄清楚我是否正在使用 sigmoid 激活函数并正确使用偏差来创建人工神经网络。我希望一个偏置节点输入到所有隐藏节点，静态输出 -1 结合其权重，然后一个输出也静态输出 -1 结合其权重。然后我可以像训练其他神经元一样训练这些偏差，对吗？！