neural-network - NEAT 中的偏置神经元是如何产生的？

Question

我正在尝试实现简单的 NEAT。我从各种来源了解到有 4 种类型的“节点”：输入神经元、隐藏神经元、输出神经元和所谓的偏置神经元。我看不出哪个过程可能会产生偏差神经元，这在本文第 16 页进行了描述。

我知道在突变时可能会创建新的神经元，但它需要两个神经元之间的现有连接，这两个神经元将被这个新神经元分裂（基于已经提到的论文，第 10 页）。然而，偏置神经元没有“输入”连接，因此显然不能以上述方式创建。那么，详细地说，NEAT 是如何产生偏置神经元的呢？

Answer 1

NEAT 上下文中的偏置神经元（节点）只是一个始终处于活动状态的特殊输入神经元。它总是包含在构造中，因为它似乎在许多情况下有助于进化。

因此，简而言之，您不会像不会创建新的输入或输出节点一样创建偏置神经元；这些是由您的问题定义的。

您是正确的，因为标准 NEAT 实现通过拆分现有连接引入了新的隐藏节点。隐藏节点是您将在 NEAT 中创建或破坏的唯一神经元（据我所知，在一般的神经进化中）。