问题标签 [lstm]

特别是，我对 LSTM 层拥有（比如说）50 个单元意味着什么感到困惑。考虑这篇很棒的博客文章中的以下 LSTM 块：

假设我的输入xt是一个(20,)向量，隐藏层ht是一个(50,)向量。鉴于细胞状态在成为新的隐藏状态之前Ct只经历了逐点操作（逐点tanh和*），我认为Ct.shape = ht.shape = (50,). 现在遗忘门查看与隐藏层连接的输入，这将是一个(20+50,) = (70,)向量，这意味着遗忘门必须有一个形状为 的权重矩阵(50, 70)，例如dot(W, [xt, ht]).shape = (50,)。

所以我现在的问题是，我在看一个有 50 个单元的 LSTM 块什么时候Ct.shape = (50,)？还是我误解了 LSTM 层有 50 个单元的含义？

我现在正在尝试运行一个 LSTM 网络大约两个星期，但我找不到一个好的框架来这样做。我实际上正在尝试使用具有此目录层次结构的 PyBrain：

但我收到了这个相对导入错误：

当这样打电话时：

关于同一错误的一些答案说我应该使用-m标志从父目录进行调用，例如：

当我这样做时，我得到了这个：

• 我只是在-mflag call 上犯了一个简单的错误吗？
• 有一种简单的方法可以在不更改框架的情况下纠正此问题（您知道修改框架的结果有多糟糕）？
• 还有其他框架选项可以在 OSX 或 W7 中运行 LSTM 示例，在 python 中更可取？

谢谢！

我正在尝试在 EC2 上的 Torch 中实现 LSTM 模型。

我对 Torch 没有任何经验，但我发现了这段代码：http ://apaszke.github.io/lstm-explained.html

我在 EC2 上运行 Torch 并加载了 LSTM.lua 脚本。

我通读了指南，但不确定如何添加数据和训练模型。我只是在一个循环中放了一个 :forward 和一个 :backward 吗？

我是 Torch 的新手，我正在尝试实现 LSTM。以下是我拥有的代码。这是使用 rnn 库实现 LSTM 的正确方法还是我需要做的更多？

另外，输入 LSTM 的数据应该是什么样的？刚刚订购了 2 个输入和 1 个输出？

我已经在我的 PC 上训练了 imdb_lstm.py。现在我想通过输入我自己的一些文本来测试训练有素的网络。我该怎么做？谢谢！

我正在尝试构建一个用于对 ATIS 数据集进行分类的 LSTM 模型。

从一个未定义大小 N 的句子，我生成一个上下文窗口词嵌入矩阵。这就是我需要以我的模型为食的东西，但我不知道如何做到这一点。

当我将输入层定义为：

我得到：

如果我在 l_in 声明中定义输入形状，它会起作用，例如：

关键是每个句子都有不同的大小，从而导致了不同形状的上下文窗口词嵌入矩阵。我能做些什么？

我的问题：我有一系列复杂的状态，我想预测未来的状态。

输入：我有一系列状态。每个序列可以是可变长度的。每个状态都是一个时刻，由几个属性描述：[att1, att2, ...]。其中每个属性都是区间 [[0..5], [1..3651], ...] 之间的数字

Seq2Seq 的示例（和论文）基于每个状态（单词）都取自他们的字典。所以每个州都有大约 80.000 种可能性。但是，当从一组向量中获取每个状态并且该集合只是属性的每个可能组合时，您将如何表示每个状态。

是否有任何方法可以使用 TensorFlow 处理更复杂的状态？另外，当输入长度和输出长度之间的关系不清楚时，确定存储桶边界的好方法是什么？

我有以下模型：

然后我通过以下方式将模型放在 cuda 上：

我尝试转发一个输入（cudatensor），它会中断。

FastLSTM 与 cuda 不兼容吗？

消息：

嗯，尝试使用 RNN 进行语音识别。如果我能得到一些关于我可以用于基于 RNN 的语音识别的最佳基于 theano 的库的建议，那将非常有帮助。（我也希望使用 CTC Connectionist 时间分类）

我有一个带有一个输入和一个输出的玩具数据集，输入是随机的 0 或 1，输出等于之前 3 个样本的输入

型号 1：

型号 2：

标准：

第一个模型不学习，第二个模型不起作用（可能是因为我的数据对于 Sequencer 来说是错误的类型？）

编辑：

训练：

我现在在通过训练运行 Model 2 时遇到错误。错误

AbstractRecurrent.lua:61：缺少 gradInput

在线上发生

lstm.modules[1]:backwardThroughTime()