tensorflow - 我的验证损失低于我的训练损失，我应该摆脱正则化吗？

Question

我听过很多人谈论一些原因，但他们从来没有真正回答是否应该修复它。我检查了我的数据集是否有泄漏，并从 TFRecords 数据集中随机抽取了 20% 用于我的验证集。我开始怀疑我的模型有太多的正则化层。我应该减少我的正则化以使验证线位于训练线之上吗？或者它真的很重要吗？

Answer 1

验证损失低于训练损失并没有错。它仅取决于验证集的概率分布。如果您的模型中有很多 dropout，则很容易出现这种情况，因为训练损失是在存在 dropout 的情况下计算的。在计算验证损失 dropout 时被禁用。问题是您的训练准确性处于可接受的水平。如果不是，则减少模型中的正则化。