backpropagation - 具有快捷连接的神经网络中的反向传播算法

Question

我目前正在 F# 中实现一个多层感知器，我将实现标准的反向传播算法，但我想知道如何修改该算法以处理快捷连接。对于快捷连接，我指的是跳过层的连接，例如，将输入层直接连接到输出层的连接。

谢谢！

Answer 1

如果您的 nn 中没有快捷方式，并且它是标准前馈，则意味着每个输入都经过每一层，路径长度相同。你可以一步一步，一层一层地，然后倒过来调整权重。为什么我要说这个，虽然你可能知道？

这是因为使用快捷方式的 NN 方法几乎相同......几乎。你会一层一层地走，然后再回来。但最大的不同是一个神经元存在于两层中。

更复杂的是，在两层平行的一个神经元上的操作顺序肯定存在一些差异。前馈和反向传播。

所以答案并不准确，您需要开发算法处理层上的计算顺序。我能想象的最简单的解决方案就是照常进行。一层又一层（在这个算法中，一个神经元将通过一个循环到达更多次）。