machine-learning - 训练损失正在减少，但验证损失是不变的。如何避免过拟合

Question

我想重新训练 google 的 mediapipe 手部地标以进行更多关键点检测，但该模型仅以无法重新训练的tflite格式提供。

我创建了一个与 mediapipe 手部模型相同的模型，并使用我的自定义数据对其进行了训练，但面临过拟合问题，

我在用：

RMSprop 作为优化器

MSE（均方误差作为损失函数），

批量大小 = 32

initial_learning_rate=1e-3

衰减步数=1000

衰减率=0.9

colab 截图

训练损失减少到 4.3819e-04 但验证损失仍然是 0.00134

我也试过

亚当优化器

Huber损失函数

验证损失降至 0.00083 我仍然面临过拟合问题

Answer 1

我建议您使用 adam 作为优化器。它是因祸得福。此外，为了在一定程度上停止过度拟合，请使用 tensorflow.keras 中 Callback 的 EarlyStopping 并通过验证损失作为监视器。

你可以在这里了解更多.. Keras EarlyStopping

也玩一些超参数。尝试增加批量大小，减少时期等。如果可能的话，包括更多的数据集进行训练。