statistics - 测试误差低于训练误差

Question

非常感谢您对此的意见。我正在借助遗传编程构建回归模型。

如果我在测试数据上的 RMSE（远）低于我在训练数据上的 RMSE（1:5 的数据比），我应该担心吗？

测试数据是从一组 24 个数据点中随机抽取的，无需替换。该模型是使用遗传编程技术构建的，因此随着我最小化由 GP 树中的节点数正则化的训练 RMSE，特征、建模框架等的数量会有所不同。

模型是否欠拟合？或者我应该最小化 MSE 而不是 RMSE（我认为这与 MSE 为正数相同，并且假设优化器足以找到最小值，则 MSE 的最小值将与 RMSE 的最小值一致）？

Tks

score 1 · Accepted Answer

因此，您的模型在 24 个数据点中的 20 个上进行了训练，并在剩余的 4 个数据点上进行了测试？

对我来说，听起来您需要（更多）更多数据，因此您可以拥有更大的训练集和测试集。我对您的测试集的低性能并不感到惊讶，因为您的模型似乎无法从这么少的数据中学习。根据经验，对于机器学习，您永远不会拥有足够的数据。是否有可能收集更大的数据集？

1 回答 1