在下表中，您可以看到R2不同模型的训练/测试拆分的比较表（表格回归问题）。现在，理想情况下，我会选择这种ideal_model场景，因为它最有可能在现实生活中表现最好，但我在训练模型时遇到了问题。具体来说，一旦我有了我的特征和问题设置，我通常可以用超参数来修补我想要的所有东西，但通常，随着我降低复杂性（或处理神经网络时的一些其他技巧——比如 dropout 层等），我的验证分数。
现在我当然担心训练集上的过度拟合会造成损害，但我也不能忽视验证步骤中的性能差异。
question: 一般在这种情况下，走哪条路最好？也就是说，尽量减少过度拟合，但也要尽可能地保持验证性能：切换模型？合奏路线？（那里的结果好坏参半，因为它是遭受这个问题的模型的组合）切换损失函数以使模型学习得更好？
ps：请假设，为了这种情况，特性是一成不变的，没有交叉验证（当然我们会在现实生活中使用交叉验证）
