来自 Keras 文档：
dropout：在 0 和 1 之间浮动。对于输入的线性变换，要丢弃的单位的分数。
reverse_dropout：在 0 和 1 之间浮动。对于循环状态的线性变换，要丢弃的单位的分数。
谁能指出每个辍学发生在图片下方的位置？
问问题
34992 次
2 回答
90
我建议看一下这篇论文的（第一部分）。常规 dropout 应用于输入和/或输出，表示从x_t和 到的垂直箭头h_t。在您的情况下，如果您将其作为参数添加到您的图层，它将屏蔽输入；您也可以在循环层之后添加一个 Dropout 层来屏蔽输出。循环丢失掩盖（或“丢弃”）循环单元之间的连接；那将是您图片中的水平箭头。
这张照片取自上面的论文。左侧是输入和输出的常规 dropout。右侧，常规 dropout 加上经常 dropout：
（在这种情况下忽略箭头的颜色；在论文中，他们进一步强调在每个时间步保持相同的 dropout 掩码）
于 2017-07-05T14:59:00.077 回答
12
上面的答案突出显示了一种经常性的 dropout 方法，但 tensorflow 和 keras 不使用该方法。张量流文档。
Keras/TF 指的是Semeniuta 等人提出的一种递归方法。此外，请查看下图，比较不同的经常性 dropout 方法。上面答案中提到的Gal 和 Ghahramani方法排在第二位，Semeniuta 方法是最正确的。
于 2020-07-17T21:06:00.263 回答