问题标签 [lstm]

我正在使用 theano 扫描函数来实现 LSTM（长期短期记忆），但我得到了类似的错误

我像这样使用扫描

step_fprop 定义如下：

任何人都知道为什么我不断收到这种错误。

在 pybrain LSTM 层中有这些缓冲区用于存储值。

谁能解释这些变量的用途？我正在尝试激活 LSTM 层。我应该采用哪个变量？

我试图编写自己的 LSTM（长期短期记忆）神经网络。我想验证基本功能是否正常工作。我已经实现了通过时间反向传播 BPTT 算法来训练单细胞网络。

单细胞 LSTM 网络应该能够学习一个简单的序列，还是需要多个细胞？网络似乎无法学习简单的序列，例如 1 0 0 0 1 0 0 0 1 0 0 0 1。

我按顺序将序列 1 和 0 依次发送到网络中，并将其向前馈送。我记录了序列的每个输出。

在通过 LSTM 单元运行整个序列后，我将平均误差信号反馈回单元，将单元内部的权重变化保存在单独的集合中，并在逐个运行所有错误并计算新权重之后在每个错误之后，我将新权重平均在一起以获得单元格中每个权重的新权重。

难道我做错了什么？我将非常感谢任何建议。

太感谢了！

LSTM 网络如何知道何时是忘记它所学到的依赖关系的好时机？

我有一些文本数据，每个文档都有多个标签。我想为这个数据集使用 Theano 训练一个 LSTM 网络。我遇到了http://deeplearning.net/tutorial/lstm.html但它只促进了二进制分类任务。如果有人对使用哪种方法有任何建议，那就太好了。我只需要一个初步可行的方向，我可以继续工作。

谢谢，阿米特

我正在使用 Theano/Pylearn2 在我自己的网络中实现 LSTM 模型。但是，我发现 Theano 扫描比使用普通循环要慢得多。我使用了 Theano 分析器

和行动，

所以很多很多时间都花在了 Scan 上（这有点像预期的那样，但我没想到它会这么慢）。

我的代码的主体是

我把我的扫描写成：

我注意到的一件事是 Theano 扫描的类型使用 Python 实现（？）是这慢得离谱的原因吗？还是我做错了什么？为什么 Theano python 实现 Scan 而不是 C。

（我说使用循环更快，但在运行时更快，对于大型模型，我没有设法在合理的时间内编译使用循环的版本）。

由于递归性质，我已经能够通过一次输入一个项目来激活一个只有 1 个输入神经元的 lstm 序列。

但是，当我尝试用相同的技术训练网络时，它永远不会收敛。训练永远持续下去。

这就是我正在做的事情，我将自然语言字符串转换为二进制，然后一次输入一个数字。我转换成二进制的原因是因为网络只取 0 到 1 之间的值。

我知道训练有效，因为当我使用与输入神经元一样多的值的数组进行训练时，在本例中为 1 所以：[0]，它会收敛并训练得很好。

我想我可以单独传递每个数字，但是每个数字都会有一个单独的理想输出。当数字再次出现在另一个训练集中的另一个理想输出时，它不会收敛，因为例如 0 怎么可能属于 0 和 1 类？如果我在这个假设上错了，请告诉我。

如何使用序列训练这个 lstm，以便在激活时对相似的序列进行类似的分类？

这是我的整个培训师文件：https://github.com/theirf/synaptic/blob/master/src/trainer.js

这是在工作人员身上训练网络的代码：

我有一个具有相同数量标签的文本数据集 - 0,1,2,3,4. 我使用我的数据集在他们的网站上运行了Keras binary classification示例LSTM（imdb 示例），编译行更改为

但该模型只预测了 1 个类别，即20%准确率始终如一。

你能帮我修复它/根据需要更改设置吗？

我有一组用于序列标记的数据。我在数据集上使用（在 x 和 y 轴上有 2 个主成分）进行了 PCA，结果如下：

使用 LSTM 网络对上面的数据集进行分类，然后我决定从 LSTM 的隐藏层中提取激活。我得到的是如下图：

我的问题是，通过比较两个结果可以得出什么结论？可以说原始数据集的特征在通过 LSTM 分类器运行后现在是自组织的吗？

我已经通过序列训练了 LSTM，并尝试测试它是否可以合成一些输出序列，但有趣且不幸的是，它非常快，即在 2 个时间步之后，稳定到固定输出，这意味着序列完全相同的值.

现在我已经更改了初始化，但是在 2 步之后输出总是相同的。训练或抽样中可能有什么问题？

抱歉，我无法提供更多上下文，因为整个程序太大了，无法在此处发布。