我一直在阅读有关 LSTM 的论文并检查它的实现。有一点我不清楚。
在大多数论文中都提到从单元到门向量的权重矩阵应该是对角线（例如：Alex第 5 页，2013 年），但我在任何实现中都没有看到这一点。
例如：
1
2
另一个例子来自 mila lab。
3
这些人执行错误还是我遗漏了什么？
问问题
2326 次
1 回答
5
TensorFlow 实现确实使用了对角矩阵，请参见此处。请注意，这在实践中意味着窥视孔仅从单元格到其自身，因此您正在进行元素向量乘法。
于 2016-02-06T14:16:18.233 回答