我在 TensorFlow 1.10 中尝试了 IndyLSTMCell。它适用于默认激活 (tanh)，但不适用于 nn_ops.relu。当我将激活设置为 relu 时，损失变成了 NAN。IndyGRUCell 也有同样的问题。
relu 激活确实适用于 IndRNNCell，但是，当我将其堆叠到 4 或 6 层时，我没有看到模型容量有任何改进。
该单元被放置在 tf.contrib.rnn.MultiRNNCell 中以获得多个层，然后是 tf.nn.dynamic_rnn。我也尝试了基于新细胞类型的 seq2seq 模型（Google 的 NMT 模型）。
实验是在 Python 3.6 的新 TensorFlow (1.10.0) 的 GPU 版本和 CPU 版本上进行的。
任何修复/解决此问题的建议将不胜感激。谢谢。