neural-network - NEAT 中是如何集成偏置节点的？

Question

在 NEAT 中，您可以添加一个始终处于活动状态的特殊偏置输入节点。关于这种节点的实现，原始论文中没有太多信息。现在我想知道偏置节点应该如何表现，如果有一个共识的话。

所以问题是：

• 来自偏置节点的连接是否在进化过程中出现，并且可以像常规连接一样为新节点拆分，还是偏置节点总是与所有非输入节点有连接？

Answer 1

回答我自己的问题：根据NEAT 用户页面， Kenneth O. Stanley 谈到了为什么 NEAT 中的偏差被用作额外的输入神经元：

为什么 NEAT 使用一个偏置节点而不是在每个节点中都有一个偏置参数？

主要是因为并非所有节点都需要偏差。因此，为系统中的每个节点搜索适当的偏差会不必要地扩大搜索空间。相反，我们让进化通过将偏置节点连接到那些节点来决定哪些节点需要偏置。这个问题不是主要问题；它可以以任何一种方式工作。您可以轻松地将偏差编码到每个节点中并尝试一下。

因此，我最好的猜测是 BIAS 输入被视为 NEAT 中的任何其他输入，不同之处在于它始终处于活动状态。