neural-network - 在神经网络中在哪里添加 dropout？

Question

我在神经网络的不同部分看到了关于 dropout 的描述：

1. 权重矩阵中的 dropout，

2. 在矩阵乘法之后和 relu 之前隐藏层中的 dropout，

3. relu后隐藏层dropout，

4. 并且在softmax函数之前的输出分数中丢失

我对应该在哪里执行 dropout 有点困惑。有人可以帮忙详细说明一下吗？谢谢！

Answer 1

所以：

1. 您描述的第一个用法称为weights 的 dropout。
2. 您描述的第二个和第三个用法是相同的，它们通常被描述为dropout on activations。人们可能很容易注意到，当整行（或列 - 取决于实现）被关闭时，它可能以权重丢失的形式表示。
3. 在第 4 种情况下，它不是正确使用 dropout - 您要在其上使用 dropout 的层是输出层 - 所以在那里使用 dropout 并不是最好的主意。