问题标签 [rnn]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
dataset - 人工增强数据集和 LSTM/RNN 网络？
我们正在使用由两个不同作者的所有书籍组成的数据集，通过 torch-rnn（和 tensorflow char-rnn 作为测试）生成新内容。
我们当前的数据集大约为 6MB，我想知道如果我简单地复制粘贴数据以将输入网络的字符数量加倍 - 从 6MB 到 12MB / 24 / (...) 120MB 会发生什么？- 同时根据数据集的新权重增加 rnn 大小和层数？是不是更糟糕？网络是否有机会达到更好的困惑？
谢谢您的回答 ！
tensorflow - 极其简单的RNN不学习琐碎的函数
我对 TensorFlow 很陌生，过去几周我一直在学习，但这对我来说是第一个 RNN。
我的意图是预测一个非常简单的函数的下一个值，在这种情况下是一行。
我预计损失会很快降至 0，并且预测会变得准确。但是，无论如何，损失似乎没有意义，它基本上跟随任何数据波动（在这种情况下，一条线，它向上和向上）。
我正在发布整个代码（尽管它是简短和基本的），因为我认为我要么错过了一些非常微不足道的东西，要么我在这里误解了一些关键概念。
r - 如何在rnn包中定义RNA训练的输入数组？
在包 rnn 中有一个如何进行网络训练的示例，在此链接中进行了描述（示例 1）。在这个包的方法中，输入以 3D 数组的格式给出，其中 dim 1: samples; 暗淡2：时间；暗淡 3：变量，但没有明确区分输入和目标（输入和目标，这是 RNA 包中的常用方法）。此外，在包描述中，条目和目标必须具有相同的维度。那么，如何在 rnn 包中为循环神经网络定义我的数据集？数据到一个可复制的例子。
我在 DF 上的训练数据（输入），前五行：
我的目标数据，前五行：
那是我定义数据的代码：
tensorflow - 在动态 rnn 中用 0 个向量填充批次
我有一个使用可变输入数据序列的预测任务。根据这篇文章，直接使用动态 rnn 会遇到拆分输出的麻烦：
为 tf.split() 使用 num_splits 的变量
所以，我想知道是否可以填充整批序列以使所有示例具有相同数量的序列，然后在sequence_length参数中tf.nn.dynamic_rnn我为填充的序列批提供 0 长度。这行得通吗？
python - 如何在 CNTK 中定义循环卷积网络层？
我是 CNTK 的新手，正在使用它很棒的 python API。我很难弄清楚如何定义循环卷积网络层，因为 Recurrence() 似乎只假设一个常规网络层。
更具体地说，我想在卷积层之间重复。
任何指针甚至是一个简单的例子都将受到高度赞赏。谢谢你。
python - 如何纠正使用 keras 库训练 RNN 时不断出现的尺寸错误？
我想构建 40 类 LSTM 分类器来分析时间序列数据。我有一个从 13 个传感器收集的 13 维实时数据。当我运行下面的代码时，我不断收到此错误消息。
ValueError：检查模型输入时出错：您传递给模型的 Numpy 数组列表不是模型预期的大小。预计将看到1个阵列，但有以下241458阵列的列表：[[[[[[0.64817517，0.12892013，0.01879949，0.00946322，0.00458952，0.01668651，0.01668651，0.0168651，0.0168651，0.04776124，0.003365，，0.0094652，0.00946322）
循环神经网络代码
machine-learning - TensorFlow RNN 陷入高成本
下面的 RNN 模型减少了前一个或两个 epoch 的损失，然后在成本 6 左右波动。这看起来模型非常随机，根本没有学习。我将学习率从 0.1 更改为 0.0001，但没有帮助。数据由输入管道提供，该管道与其他模型配合得很好，因此此处不介绍提取标签和图像的功能。我已经看了很多次，但仍然找不到它有什么问题。这是代码：
deep-learning - GAN 是一个好的（更好的？）文本生成解决方案吗？
自从关于 RNN 的 Karpathy 文章 ( http://karpathy.github.io/2015/05/21/rnn-effectiveness/ ) 以来，我看到了一些关于自然语言处理新发展的项目和论文，但我没有发现任何关于文本生成的内容，什么也没有从长远来看，将其带到生成的文本有意义的状态。
然后我在 Github 上看到了一些 GAN 项目，用于文本生成。如果我们正在寻找长文本的一般含义，GAN 是一种很好的（更好的？）编码文本生成器的方法吗？
tensorflow - dynamic_rnn 的形状
我在 TensorFlow 中实现了一个堆叠的 LSTM 网络，使用：
其中lstm_layer()定义为：
我使用 20 的批量大小和 200 的序列长度。200 是最大值，其余的用零填充。我使用 dynamic_rnn 传递每个样本的序列长度：
当我使用 来查看最后一个输出时outputs[:,-1,:]，该h向量的形状为(2, batch_size, cell.output_size)，其中cell.output_size只是顶层 LSTM 层中的单元数（在我的情况下为 128，等于lstm_size）。
2从哪里来？据我了解，我应该为批次中的每个样本简单地输出 128 个输出，而不是该数字的 2 倍。
提前致谢。
tensorflow - 如何解释 textsum 模型的这个损失曲线？
我一直在训练 textsum seq2seq w/attention 模型，用于在 60 万篇文章 + 摘要的训练语料库上进行抽象摘要。这算不算收敛？如果是这样，它在不到 5k 步后收敛是否正确？注意事项：
- 我已经训练了 200k 的词汇量
- 批量大小为 4 的 5k 步（直到近似收敛）意味着最多可以看到 20k 个不同的样本。这只是整个训练语料库的一小部分。
还是我实际上没有在茶叶中读到我的狗的脸，边际负斜率是否符合预期？
