java - 计算用于循环神经网络 RTRL 训练的偏导数

Question

好吧，首先，嗨，
其次是凌晨 3 点，我向你保证，在我了解 RNN 和 RTRL 的 3 天后，我会被炸死，但此时我的微积分大脑已经离我而去。

基本上我正处于需要计算这个的阶段：

更具体地说：

我使用了各种网站和我的教科书（在这个主题上有 0 个），但这是我的主要来源willamette.edu的其余部分

我遇到的问题是如何以编程方式（Java）
在 Wij 方向上部分区分 Yk

我不知道该怎么做。
注意：我确实了解 RNN 和 RTRL 是如何工作的，我很自信。

Answer 1

您不会“以编程方式（Java）部分区分”，而是进行分析，并实现简单的解决方案。所有这些操作都在任何与神经网络相关的书中都有描述。

特别是，拥有d y_k(t)/d w_ij. y_k(t)是w_ij假设的函数（为简单起见），这是一层网络，然后y_k(t)是形式y_k(t) = f( sum w_ij x_j(t) )（我将偏差表示为神经元）。所以计算偏导数导致f'( sum w_ij x_j(t) ) * x_j(t)

在去 RTRL 之前，你应该先了解简单的反向传播通过时间`，这需要先了解简单的反向传播。然后，您可以进入 RTRL - 我推荐以下教程。