问题标签 [recurrent-neural-network]

事实上，在不按与原点的距离对其进行排序的情况下运行循环神经网络是可行的，但远没有那么有效。使用多个流，如果我不按波前顺序启动内核，Cuda 调度程序会阻塞。

我需要上面的 NN，或者 F# 中的示例纯粹是为了上下文。

我知道如何处理二维，但对于 3D 和更多，我所想的只是有点 hacky。我想知道是否有一些优雅的方式来进行波前迭代，类似于上面针对任意维度长度和维度数量的基于排序的方法？

我用 TensorFlow 构建了一些神经网络，比如基本的 MLP 和卷积神经网络。现在我想继续讨论循环神经网络。但是，我在自然语言处理方面没有经验。因此，RNN 的 TensorFlow NLP 教程对我来说并不容易阅读（也不是很有趣）。

基本上我想从简单的东西开始，而不是 LSTM。

如何在 TensorFlow 中构建一个简单的循环神经网络，比如 Elman 网络？

我只能找到 TensorFlow 的 GRU 或 LSTM RNN 示例，主要用于 NLP。有人知道 TensorFlow 的一些简单的递归神经网络教程或示例吗？

此图显示了一个基本的 Elman 网络，通常简称为 SRN（简单循环网络）：

I'm learning LSTM networks and decided to try synthetic test. I want LSTM network fed by some points (x,y) to distinguish between three basic functions:

• line: y = k*x + b
• parabola: y = k*x^2 + b
• sqrt: y = k*sqrt(x) + b

I'm using lua + torch.

Dataset is totally virtual - it is created on-the-fly at the 'dataset' object. When training cycle asks for another minibatch of samples, function mt.__index returns sample, created dynamically. It randomly selects on of the three described functions and picks some random points for them.

Idea is that LSTM network would learn some features to recognize what kind of a function do last points belong to.

Full yet simple source script included:

The problem is: network does not converge. Could you share any ideas what I'm doing wrong?

tanh除了TensorFlow 中的默认值之外，我还想尝试其他一些传递函数BasicRNNCell。

原来的实现是这样的：

...我将其更改为：

更改vs.variable_scope为tf.variable_scope, 是成功的，但linear它是 > rnn_cell.py < 中的一个实现，并且本身不可用tf。

我怎样才能让它工作？

我必须完全重新实现linear吗？（我已经检查了代码，我想我也会在那里遇到依赖问题......）

我想在一些时间序列数据上运行一个 GRU 单元，以根据最后一层中的激活对它们进行聚类。我对 GRU 单元的实现做了一个小改动

在此之后，我以以下方式连接激活，然后在调用此 GRU 单元的脚本中返回它们

我以下列方式调用 GRU 单元

其中s是一个批处理长度数组，其中包含输入批处理的每个元素中的时间戳数。

最后我使用

执行时出现以下错误

Traceback（最近一次调用）：文件“xxx.py”，第 162 行，在 fetched = sess.run(fetches=cell.activations, feed_dict=feed_dict) 文件“/xxx/local/lib/python2.7/site- packages/tensorflow/python/client/session.py”，第 315 行，运行中返回 self._run(None, fetches, feed_dict) 文件“/xxx/local/lib/python2.7/site-packages/tensorflow/python/ client/session.py"，第 511 行，在 _run feed_dict_string) 文件 "/xxx/local/lib/python2.7/site-packages/tensorflow/python/client/session.py"，第 564 行，在 _do_run target_list) 文件“/xxx/local/lib/python2.7/site-packages/tensorflow/python/client/session.py”，第 588 行，在 _do_call 六.reraise(e_type, e_value, e_traceback) 文件中“/xxx/local/lib /python2.7/site-packages/tensorflow/python/client/session.py”，第 571 行，在 _do_call 返回 fn(*args) 文件“/xxx/local/lib/python2.7/site-packages/tensorflow/python/client/session.py”，第 555 行，在 _run_fn

return tf_session.TF_Run(session, feed_dict, fetch_list, target_list) tensorflow.python.pywrap_tensorflow.StatusNotOK: Invalid argument: 为 RNN/cond_396/ClusterableGRUCell/flatten_activations:0 返回的张量无效。

有人可以深入了解如何在最后一步通过可变长度序列从 GRU 单元中获取激活吗？谢谢。

我目前正在通过研究 MNIST 示例等示例来学习卷积神经网络。在神经网络的训练过程中，我经常看到如下输出：

除了时代，有人可以解释一下每列到底代表什么以及这些值的含义吗？我看到很多关于基本 cnn 的教程，但我还没有遇到一个详细解释这一点的教程。

我在使用neurolab python库时遇到问题：我正在尝试借助Elman递归神经网络来预测一些时间序列：

它仅适用于一个输入时间序列（输入向量）。但我需要不止一个，事实上，我确实需要五个输入向量。有谁知道如何解决这个问题？谢谢你的帮助！

我注意到 tensorflow 的 api 中已经有批量标准化函数。我不明白的一件事是如何改变培训和测试之间的程序？

批量标准化在测试期间的作用与在训练期间的作用不同。具体来说，在训练期间使用固定的均值和方差。

某处有一些很好的示例代码吗？我看到了一些，但是对于范围变量，它变得令人困惑

我在使用neurolab python库时遇到问题：我正在尝试借助Elman递归神经网络来预测一些时间序列：

它仅适用于一个输入时间序列（输入向量）。但我需要不止一个，事实上，我确实需要五个输入向量。示例：我将预测 6 行“to_be_predicted”列。数据：pastebin.com/7z1DeikJ。所以列“usd”、“euro”、“GDP_bln”、“inflation”、“CPI”是输入，而“to_be_predicted”是我的目标。

有谁知道如何解决这个问题？谢谢你的帮助！

我在为 Keras 上的 RNN 准备输入数据时遇到了麻烦。

目前，我的训练数据维度是：(6752, 600, 13)

• 6752：训练数据的数量
• 600：时间步数
• 13：特征向量的大小（向量是浮点数）

X_train并且Y_train都在这个维度。

我想准备这些数据以输入到SimpleRNNKeras 上。假设我们正在经历从第 0 步到第 599 步的时间步长。假设我想使用input_length = 5，这意味着我想使用最近的 5 个输入。（例如步骤#10、#11、#12、#13、#14 @ 步骤#14）。

我应该如何重塑X_train？

应该是(6752, 5, 600, 13)还是应该是(6752, 600, 5, 13)？

应该是什么形状Y_train？

应该是(6752, 600, 13)or(6752, 1, 600, 13)还是(6752, 600, 1, 13)？