我对如何在 keras 中正确使用带有 RNN 的 dropout 感到困惑,特别是对于 GRU 单元。keras 文档参考了这篇论文(https://arxiv.org/abs/1512.05287),我知道所有时间步都应该使用相同的 dropout 掩码。这是通过 dropout 参数实现的,同时指定 GRU 层本身。我不明白的是:
为什么互联网上有几个示例,包括 keras 自己的示例 ( https://github.com/keras-team/keras/blob/master/examples/imdb_bidirectional_lstm.py ) 和 Andrew Ng 的 Coursera Seq 中的“触发词检测”作业。模型课程,他们在其中显式添加了一个 dropout 层“model.add(Dropout(0.5))”,据我了解,它将为每个时间步添加一个不同的掩码。
上面提到的论文表明这样做是不合适的,并且由于这种丢失噪声在所有时间步长上的累积,我们可能会丢失信号以及长期记忆。但是,这些模型(在每个时间步使用不同的 dropout 掩码)如何能够很好地学习和执行。
我自己已经训练了一个模型,它在每个时间步都使用不同的 dropout 掩码,虽然我没有得到我想要的结果,但该模型能够过度拟合训练数据。据我了解,这会使所有时间步长上的“噪声累积”和“信号丢失”无效(我有 1000 个时间步长序列输入到 GRU 层)。
对这种情况的任何见解、解释或经验都会有所帮助。谢谢。
更新:
为了更清楚起见,我将提到 Dropout Layer 的 keras 文档的摘录(“noise_shape:1D 整数张量,表示将与输入相乘的二进制 dropout 掩码的形状。例如,如果您的输入具有形状(batch_size , timesteps, features) 并且您希望所有时间步的 dropout 掩码都相同,您可以使用 noise_shape=(batch_size, 1, features")。所以,我相信,可以看出,当明确使用 Dropout 层并且需要在每个时间步都使用相同的掩码(如论文中所述),我们需要编辑这个 noise_shape 参数,这在我之前链接的示例中没有完成。