neural-network - 神经网络训练期间的 Elman 和 Jordan 上下文值

Question

我正在尝试 Elman 和/或 Jordan ANN 使用Encog 框架。我正在尝试编写自己的代码，但正在研究 Encog 是如何实现的。我看到了通过时间的反向传播如何更新权重，但是上下文神经元如何更新？当计算神经网络的输出时，这些值似乎有些随机波动。这些值实际上如何允许简单的循环神经网络随着时间的推移实际识别输入数据中的模式？

Answer 1

上下文神经元神经元值本身不会随着训练的进行而更新。它们与下一层之间的权重在训练期间更新。上下文值将随着神经网络的运行而更新。