问题标签 [bias-neuron]

我正在尝试实现一个具有大约 2000 个输入的神经网络。

我对 iris 数据集进行了一些测试以对其进行检查，它似乎可以工作，但是当我运行测试时，它会抛出错误的结果，大多数情况下，对于所有测试，我都会为每个测试获得相同的输出数据。恐怕如果它与偏差过程和梯度更新有关，也许你们可以发现错误或给我一些建议。这是反向传播过程的部分代码。

我已经研究了几个星期的神经网络，并注意到所有指南和文档都没有提到偏置单元和/或总是假设它是 1。是否有任何理由或案例我们希望偏置单元不是 1 ? 还是将其作为网络中的可调参数？

编辑：对不起，我是堆栈溢出的新手，发现了类似的问题，所以我认为这是一个问的好地方，谢谢你纠正我。

编辑：当人们提到偏见时，他们在大多数情况下指的是bias_weight：

Bias&BiasUnit

偏置单元也是我们在反向传播中得到偏置 Δb 方程的原因：Δb = ΔY * 1（* 1 通常被省略，因为它对方程没有影响）

希望清除思考。

我正在尝试确定我的 Keras 网络中的“神经元/节点”的数量，而不是参数。我正在使用一个已经实现的变体，所以我没有自己开发任何东西。

我知道，我可以通过摘要获得网络的概述和参数数量。这里的问题是，我不想知道我有多少参数，而是知道有多少“神经元”。背景是，对于 8 到 8 个全连接层，我得到 64 个参数。但我想达到 16。我也知道，使用 Conv2D 层的整个故事并不是那么容易制作的。

我的第一种方法是将 output_shape 变量的所有值相乘，然后将它们相加。我可以这样做还是错了？

这就是列表形式模型摘要：

我数了一下神经元 105,641,486。这看起来是错误的，因为除了权重（参数）之外还有很多。我不确定我是否真的可以添加所有图层？

如果有人想知道我为什么要这样做。我想将它与生物神经网络进行比较，我只有大脑的神经元数量，而不是那里的所有连接。我知道它们没有可比性，但对于我想做的事情来说已经足够了。

感谢您的提示和帮助

我正在使用 keras 构建模型，以便使用带有负采样的 skipgram 来学习词嵌入。我的输入是一对单词：(context_word, target_word)，当然还有标签 1表示正数，0表示负数。我需要做的是为模型添加偏差。偏差应该只是每个输入的目标词的偏差，而不是两个词的偏差。

直到现在我有代码：

但是，我似乎无法让它工作。代码正在运行，但与没有偏差的模型相比，我得到了更高的损失和更低的准确度。所以我在想我做错了什么。另外，当我检查尺寸时，我仍然得到嵌入尺寸的尺寸，而不是嵌入 尺寸 + 1

我考虑过使用另一个密集层（甚至不确定这样做是否合乎逻辑或正确）以便在点积之后添加偏差，但我也无法真正让它工作。

我真的想要一些帮助，在模型中添加偏见。

我正在尝试实现简单的 NEAT。我从各种来源了解到有 4 种类型的“节点”：输入神经元、隐藏神经元、输出神经元和所谓的偏置神经元。我看不出哪个过程可能会产生偏差神经元，这在本文第 16 页进行了描述。

我知道在突变时可能会创建新的神经元，但它需要两个神经元之间的现有连接，这两个神经元将被这个新神经元分裂（基于已经提到的论文，第 10 页）。然而，偏置神经元没有“输入”连接，因此显然不能以上述方式创建。那么，详细地说，NEAT 是如何产生偏置神经元的呢？

上述说法是否属实？偏差和 \beta_0 都是独立于输入的权重，因此允许模型添加一些常数值。

我很难在网上找到有关如何使用卷积神经网络中的偏差进行反向传播的资源。偏差是指添加到卷积产生的每个数字的数字。

这是一张图片进一步解释

我知道如何计算过滤器权重的梯度，但我不确定如何处理偏差。现在我只是通过该层的平均误差来调整它。这个对吗？

我最初基于在线教程构建了一个仅 numpy 的神经网络，并且已经意识到我应该有某种偏置神经元。但是，我真的一直在努力弄清楚如何在我的代码中实现它，并且非常感谢一些指导。

我是使用 Keras 建模的新手。我正在尝试评估设置模型的适当参数。我怎么知道你何时使用偏见与何时关闭它？

这段 JavaScript 代码代表了神经网络中简单感知器的概念。下面的代码预测除XOR 表之外的所有真值表都很好。请在浏览器的控制台窗口中运行此代码并找出问题所在。

由于这是一个简单的单个神经元，因此我没有对隐藏层给予太多重视。我正在训练这个高达 10,000 次迭代以获得更好的结果。

异或门的输出是