machine-learning - CNN 准确率与损失选择

Question

我使用 Adam 优化器构建了两个 CNN 分类器。其中一个我应用了 dropout (.05)，第二个没有 dropout。我对每种情况都有以下准确度和损失值，哪一个表现更好？我注意到它们都具有相当的准确度，但是具有 dropout 的分类器具有更好且波动较小的损失结果。

下面是启用了 dropout (0.5) 的分类器的第一张图片，第二张是没有启用 dropout 的分类器

Answer 1

您添加的 dropout 减轻了过度拟合的影响；从本质上讲，这就是为什么损失图不像在没有丢失/添加任何其他正则化的情况下那样振荡的原因。

即使在没有 dropout/regularization 的模型的情况下，验证集的准确性可能会稍好一些（大 1-2%），您应该期望第二个模型（包括 dropout）在看不见的数据（测试集）上表现更好.

应该选择dropout-model；此外，您可以尝试使用不同的 dropout 阈值来检查性能。此外，最好有一个测试集来快速验证您的任何假设。

请注意，您将验证集用作测试集，但它们有不同的用途。您实际展示的是训练验证损失/准确度，而不是训练测试损失/准确度。