问题标签 [lstm]

使用教程中给出的 LSTM 的简单构造函数，以及维度 [ , ,1] 的输入，人们会期望看到形状为 [ , ,num_units] 的输出。但不管在构造过程中传递了多少个 num_units，输出与输入具有相同的形状。

以下是复制此问题的最小代码...

不合格的 LSTM（我的意思是在其默认模式下）应该为每个单元产生一个输出，对吗？代码是在 kaixhin 的 cuda lasagne docker image docker image 上运行的 给出 了什么？谢谢 ！

这是使用来自Neurolab Python 库的Elman Recurrent Neural Network的示例：

在这个例子中，它合并了 2 个单位长度的输入，也合并了2 个单位长度的输出。之后，它使用这些合并的数组训练网络。

首先，它看起来不像我从这里得到的模式：

我的主要问题是；

我必须用任意长度的 输入和输出来训练网络，如下所示：

• 任意长度输入到固定长度输出
• 固定长度输入到任意长度输出
• 任意长度输入到任意长度输出

此时你会想到：“你的答案是长短期记忆网络。”

我知道，但Neurolab很容易使用，因为它有很好的功能。特别是，它非常Pythonic。所以我坚持使用Neurolab Library来解决我的问题。但是，如果您向我推荐另一个具有更好LSTM功能的库，例如 Neurolab ，我会接受。

最后，我怎样才能为任意长度的输入和输出重新排列这个例子？

我对 RNN 和 LSTM 没有最好的理解，所以请解释一下。

我正在尝试在 theano/keras 中使用 LSTM 实现语言模型。我的网络运行良好，我也看到训练损失减少了，但测试准确率始终高于 99%，即使我没有长时间训练我的网络。我使用了 word2vec 向量并将权重嵌入到嵌入层中。我的网络看起来像：

我的训练和测试数组形状是： X_train 形状：(100000, 18) X_test 形状：(10000, 18) y_train 形状：(100000, 998) y_test 形状：(10000, 998)

其中有 100000 个训练句子和 10000 个测试句子，每个句子包含 18 个单词。输出的类数为 998。

谁能建议为什么我可能没有得到真正的测试错误？

这是一个关于在 TensorFlow 中训练序列到序列模型的非常好的教程。我只是想知道是否有一个分布式版本可以在单台机器上利用一组 GPU 以获得更好的性能？

TensorFlow 白皮书已经提到，可以训练大型多层循环神经网络（参见图 8和“模型并行训练”部分），如使用神经网络的序列到序列学习中使用的那样。有人知道当前的教程是否涵盖模型并行训练吗？如果不是，如何改进原始教程以利用一组 GPU？

我是 Keras 的新手，我想使用 LSTM 预测句子中每个单词的极性。我用相应的预训练词向量表示每个句子。所以我的输入表示是（maxlen，input_dimensions）。但我无法理解如何给出标签。对于每个句子，单词可以分为 3 类（pos/neg/neutral）。所以它会像[0,2,0,0,1.....]。如何将此输出提供给顺序模型？

环境信息

操作系统：Rocks OS (Centos 6.5)

我从源代码安装，这是我的版本： https ://github.com/shiyemin/tensorflow/ 没有改变，只是让它在我们的服务器上成功编译。

错误

我使用 caffe-tensorflow 将 caffe 模型转换为 tensorflow，并选择 GoogLeNet 来构建我们的网络。

我在此代码中添加了一个 LSTM 层，如下所示：

当我将此 LSTM 层添加到 GoogLeNet 时，会发生以下错误。

但是当我使用以下代码时：

https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3%20-%20Neural%20Networks/recurrent_network.py，

一切正常。

有谁知道发生了什么？我不知道如何调试此错误。

我正在对具有不同长度的批量序列训练 LSTM 单元。tf.nn.rnn有一个非常方便的参数，sequence_length但是调用之后，我不知道如何选择批处理中每个项目的最后一个时间步对应的输出行。

我的代码基本上如下：

lstm_outputs是每个时间步的 LSTM 输出列表。但是，我的批次中的每个项目都有不同的长度，因此我想创建一个张量，其中包含对我的批次中的每个项目有效的最后一个 LSTM 输出。

如果我可以使用 numpy 索引，我会做这样的事情：

但事实证明，当时开始 tensorflow 不支持它（我知道功能请求）。

那么，我怎样才能得到这些值呢？

我正在尝试在 Tensorflow 中创建一个 LSTM 网络，但我迷失了术语/基础知识。我有n 个时间序列示例，所以X = x _n，其中 x _i =[[x ₁ ¹ x ₁ ² ,x ₁ ³ ],...,[x _m ¹ x _m ² ,x _m ³ ]] 并且 x_我是一个^浮点数。首先，我想训练一个给定序列开始的模型 ([x ₁ ¹ x ₁ ² ,x ₁ ³]) 我可以预测序列的其余部分。然后稍后我希望包含一个分类器来预测每个x _i属于哪个二进制类。

所以我的问题是我在模型的开头输入什么并拉出模型的结尾？到目前为止，我有一些看起来像下面的东西

编辑：具体来说，如何完成该__init__功能以使其与我的数据兼容？

我目前正在尝试建立一个简单的模型来预测时间序列。目标是使用序列训练模型，以便模型能够预测未来值。

我正在使用 tensorflow 和 lstm 单元来执行此操作。该模型通过时间截断反向传播进行训练。我的问题是如何构建训练数据。

例如，假设我们想学习给定的序列：

我们展开网络num_steps=4.

选项1

选项 2

选项 3

选项 4

任何帮助，将不胜感激。

I have a simple dataframe consisting of one column. In that column are 10320 observations (numerical). I'm simulating Time-Series data by inserting the data into a plot with a window of 200 observations each. Here is the code for plotting.

This simulates a flow of real-time data and visualizes it. What I want is to apply theanets RNN LSTM to the data to detect anomalies unsupervised. Because I am doing it unsupervised I don't think that I need to split my data into training and test sets. I haven't found much of anything that makes sense to me so far and have been googling for about 2 hours. Just hoping that you guys may be able to help. I want to put the prediction output of the RNN on the graph as well and define a threshold that, if the error is too large, the values will be identified as anomalous. If you need more information please comment and let me know. Thank you!