所有或几乎所有使用 dropout 的论文都将其用于监督学习。似乎它可以很容易地用于规范深度自动编码器、RBM 和 DBN。那么为什么在无监督学习中不使用 dropout 呢？
问问题
2840 次
2 回答
2
Dropout 用于无监督学习。例如：
翟双飞，张中飞：矩阵分解和自动编码器的 Dropout 训练，用于稀疏图中的链接预测（arxiv，2015 年 12 月 14 日）
于 2016-07-16T07:45:39.333 回答
1
有标签的数据相对稀缺，这就是为什么监督学习经常受益于强正则化，比如 DropOut。
另一方面，未标记的数据通常很丰富，这就是通常不需要 DropOut 的原因，并且可能是有害的（因为它会降低模型容量）。
即使是像 GPT-3（175e9 参数）这样的巨大模型在更新 300e9 令牌后仍然欠拟合。
于 2021-08-18T16:48:37.040 回答