8

我用 TensorFlow 构建了一些神经网络,比如基本的 MLP 和卷积神经网络。现在我想继续讨论循环神经网络。但是,我在自然语言处理方面没有经验。因此,RNN 的 TensorFlow NLP 教程对我来说并不容易阅读(也不是很有趣)。

基本上我想从简单的东西开始,而不是 LSTM。

如何在 TensorFlow 中构建一个简单的循环神经网络,比如 Elman 网络?

我只能找到 TensorFlow 的 GRU 或 LSTM RNN 示例,主要用于 NLP。有人知道 TensorFlow 的一些简单的递归神经网络教程或示例吗?

此图显示了一个基本的 Elman 网络,通常简称为 SRN(简单循环网络):

elman 网络示例

4

1 回答 1

3

一种选择是使用位于tensorflow/python/ops/rnn_cell.py 中的内置 RNNCell

如果您不想这样做,您可以制作自己的 RNN。RNN 将使用反向传播随着时间的推移进行训练。尝试将网络展开固定数量的步骤,例如考虑长度为 10 的输入序列。然后,您可以在 python 中编写一个循环来为网络的每个步骤执行所有矩阵乘法。每次您都可以获取上一步的输出并将其与该步骤的输入连接起来。让它工作不会有太多的代码行。

于 2016-04-25T05:38:51.510 回答