machine-learning - 递归神经网络（Elman 网络）。上下文到隐藏/隐藏到上下文层权重需要更新吗？

Question

我刚刚开始研究循环神经网络。我在 Elman 的网络上找到了三个信息来源（Elman 1991）。

1. （示例和代码）http://mnemstudio.org/neural-networks-elman.htm

2. （论文）http://www.sysc.pdx.edu/classes/Werbos-Backpropagation%20through%20time.pdf

3. (Q&A)神经网络训练期间的 Elman 和 Jordan 上下文值

根据第一个资源，从隐藏到上下文/从上下文到隐藏层的权重没有更新。

从第二个资源中，它还将这些更新设置为 0，这意味着它不会更新权重。

但是从 Stackoverflow 上的第三个资源中，用户声称“上下文神经元神经元值本身不会随着训练的进行而更新。它们与下一层之间的权重在训练期间会更新。”

我知道上下文神经元在时间 t 保存隐藏神经元的值，并在 t + 1 时将其（与输入神经元一起）馈送到隐藏神经元。但是我们是否必须更新两者之间的权重？

Answer 1

我不确定这个问题是否仍然重要，但这是我的解释：

从隐藏层到上下文层的权重固定为 1。那些不会更新。

但是，从上下文层返回到隐藏层的权重将得到更新。否则网络将如何学习如何处理过去的值？如果它们不改变，初始化它们的正确值是什么？肯定不是1。

并且上下文神经元的值将在训练期间得到更新。不是通过使用某种 sigmoid 函数，而是通过简单地复制隐藏层的值。