performance - 添加正则化会使性能变慢和变差

Question

当我添加更强的正则化（例如，从 1 到 10 的 L2 正则化参数，或从 0.75 到 0.5 的 dropout 参数）时，它给了我更慢和更差的性能（例如，在 3000-4000 次迭代中，97-98% 的测试准确率只有 94-95% 3000-4000 次迭代的测试精度）。发生这种情况可能有原因吗？我可以确认一切都正确实施。谢谢！

编辑：我只想指出我的程序有过拟合（大约 1%），而且似乎无论有没有 dropout，训练和测试精度之间的差异也差不多。

Answer 1

欠拟合可能是准确率急剧下降的原因。对小于 1 的 l2 正则化使用较小的值。检查 [0.01,0.03,0.1,0.3,0.9] 并查看。