问题标签 [recurrent-neural-network]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
neural-network - 通过神经网络进行时间序列预测
最近我一直在研究神经网络，用于各种目的。我在数字识别、XOR 和其他各种简单/hello world'ish 应用程序方面取得了巨大成功。
我想解决时间序列估计的领域。我目前没有大学帐户来阅读有关该主题的所有 IEEE/ACM 论文（免费），也找不到许多详细说明使用 ANN 进行时间序列预测的资源。
我想知道是否有人有任何建议或可以推荐任何有关使用 ANN 通过时间序列数据进行预测的资源？
我假设要训练 NN，您将立即插入几个时间步，预期输出将是下一个时间步（例如：n-5、n-4、n-3、n-2、n-1 的输入应该在时间步 N 处输出结果。...并向下滑动一些时间步并再次执行所有操作。
任何人都可以确认或评论它吗？我会很感激！
neural-network - 卷积神经网络和递归神经网络有什么区别？
我是神经网络主题的新手。我遇到了两个术语卷积神经网络和递归神经网络。
我想知道这两个术语是否指的是同一件事，或者，如果不是，它们之间有什么区别？
neural-network - 用于 Caffe 的 LSTM 模块
有谁知道是否存在适用于 Caffe 的不错的 LSTM 模块？我从 russel91 的 github 帐户中找到了一个，但显然包含示例和解释的网页消失了（以前的http://apollo.deepmatter.io/ --> 它现在只重定向到没有示例或解释的github 页面）。
python - 基本 RNN 上的 Theano 奇怪错误
我是 Theano/RNN 编程的初学者，我根据这里的代码做了第一个简单的实现
在我的代码中，我创建了一个简单的自回归过程作为数据集，其中输出系列的每一项都是输入系列的前 4 个值的总和（正态分布值）
完整的代码是
对链接页面中定义的基本行为几乎没有修改。我收到一个奇怪的错误，阻止程序在该行之后运行进一步的指令
我得到的错误是
/Library/Python/2.7/site-packages/theano/scan_module/scan_perform_ext.py:133：RuntimeWarning：numpy.ndarray 大小已更改，可能表示 scan_perform.scan_perform 导入的二进制不兼容 * BLAS 错误：传递给 cblas_dgemv 的参数 incX 为 0，这是无效的。
我真的不明白如何解决这个问题，也没有发现这个错误
python - theano GRU rnn 亚当优化器
技术信息：
操作系统：Mac OS X 10.9.5
IDE：Eclipse Mars.1 Release (4.5.1)，带有 PyDev 和 Anaconda 解释器（语法版本 3.4）
显卡：NVIDIA GeForce GT 650M
库：numpy、aeosa、Sphinx-1.3.1、Theano 0.7、nltk-3.1
我的背景：我对 theano 和 numpy 非常陌生，还没有上过机器学习或离散数学的正式课程。
我目前使用的自然语言处理的递归神经网络取自这里：
https://github.com/dennybritz/rnn-tutorial-gru-lstm/blob/master/gru_theano.py
对该文件所做的唯一更改是将引用替换theano.config.floatX为字符串'float32'。
我还使用存储库中包含的 utils.py 和 train.py 模块，只进行了微小的更改。
我计划合并的亚当优化器代替示例存储库中实现的 sgd/rms 代码可在此处找到：https ://gist.github.com/skaae/ae7225263ca8806868cb
在这里转载（再次引用.config.floatX替换为硬编码的'float32'）：
（theano作为th，theano.shared作为thsh，theano.tensor作为T，numpy作为np）
我的问题是这样的：
您将如何修改 GRUTheano 模块以使用上面的 Adam 方法代替内置的 sgd/rmsprop 函数？
看起来关键的变化是 GRUTheano 的第 99-126 行：
neural-network - Torch 中的 LSTM 模型不学习
我有一个带有一个输入和一个输出的玩具数据集，输入是随机的 0 或 1，输出等于之前 3 个样本的输入
型号 1：
型号 2：
标准：
第一个模型不学习，第二个模型不起作用（可能是因为我的数据对于 Sequencer 来说是错误的类型？）
编辑：
训练：
我现在在通过训练运行 Model 2 时遇到错误。错误
AbstractRecurrent.lua:61：缺少 gradInput
在线上发生
lstm.modules[1]:backwardThroughTime()
neural-network - 在 2 层 GRU RNN 分类器中使用最后一层或两层的输出？
我正在试验张量流。我正在尝试建立一个基于序列作为输入的分类系统。我创建了一个包含 2 层常规 RNN 和 1 层 GRU 单元的网络（张量流中的 MultiRNNCell）然后我打算将 softmax 输出耦合到我最后一个 GRU 单元的隐藏状态。现在我注意到当我从 MultiRNNCell 输出中获取最后一个状态时。它是我为 GRU 单元指定的隐藏层大小的 3 倍。我猜这是所有 3 个 RNN 层级联的状态。这个对吗？如果是这样，将所有层的状态耦合到 softmax 输出是否有意义？或者我应该只对最后一个 GRU 单元的状态执行此操作。
我在一些小型玩具数据集上测试了这两种情况，算法似乎在这两种情况下都能学习，但我不确定在真实情况下什么最有意义。
我如何指定 RNN 模型的一些代码
machine-learning - 使用递归神经网络进行字符串匹配
我最近开始探索循环神经网络。到目前为止，我已经使用 Andrej Karpathy 的博客在 tensorFlow 上训练了字符级语言模型。它工作得很好。
但是，我找不到任何关于使用 RNN 进行字符串匹配或关键字发现的研究。对于我的一个项目，我需要扫描文档的 OCR，然后解析转换后的文本以获取关键数据点。大多数字符串匹配技术未能合并 OCR 转换错误，这会导致严重错误。
是否可以根据我收到的转换文本的变体训练 RNN 并将其用于查找关键字。
machine-learning - 循环神经网络的输出长度
我在 python 中编写了两个进行序列预测的 LSTM RNN 代码。我有一个简单的序列（比如嘈杂的正弦波），我正在训练我的网络以“预测”正弦波的未来值。我的第一个代码只预测单个下一个值（因此只有 1 个输出神经元），而我编写的第二个代码预测 5 个下一个值（即 5 个输出神经元）。为了提前 5 步获得第一个代码的预测，我需要多次调用预测函数（利用前一个预测的输出）。
这两种情况似乎都运作良好，但我真正想要解决的是这两种网络架构中的哪一种最适合这个问题。文献中几乎没有比较这些输出模型的内容。
neural-network - 如何用小数据集训练神经网络，或者如何在没有人工干预的情况下制作大数据集？
我正在尝试使用 RNN 训练机器人进行特定动作，例如抓握或指向。该机器人由一条手臂和一个装有摄像头的头部组成。工作区也将是小桌子，以便可以定位手臂和物体。循环神经网络的输入将是相机每个时间步长的图像帧，输出将是机器人手臂下一帧的目标电机角度。当当前图像帧被馈送到网络时，网络会为下一帧输出 arm 的运动值。当手臂到达下一个位置时，该位置的输入帧再次进入网络，并再次产生下一个电机输出。
但是，在制作训练数据时，我必须为工作区上的所有位置制作（图像，电机角度）对的所有数据。尽管网络可以自行完成一些泛化工作，但所需的数据仍然太多，而且由于轨迹太多，需要花费大量时间。
概括我遇到的问题，获取网络训练数据的时间太多了。有什么方法可以用小数据集训练网络吗？或者在相对较小的人工干预下制作庞大的数据集？