关于使用交叉验证的模型选择的问题
假设一个数据集被拆分为训练集和测试集。在训练数据集上使用交叉验证来比较多个模型。
在一种情况下,一些模型产生了完全相同的验证错误。
在另一种情况下,模型的准确率可能排名为 99%、98%、97%、95%、90%.......等。
对于这两种情况,您能否告知如何以及为什么选择模型?
我知道测试数据集只是为了评估泛化错误而设计的。但是对于上述场景,是否是时候使用测试数据集来评估这些模型了。
关于使用交叉验证的模型选择的问题
假设一个数据集被拆分为训练集和测试集。在训练数据集上使用交叉验证来比较多个模型。
在一种情况下,一些模型产生了完全相同的验证错误。
在另一种情况下,模型的准确率可能排名为 99%、98%、97%、95%、90%.......等。
对于这两种情况,您能否告知如何以及为什么选择模型?
我知道测试数据集只是为了评估泛化错误而设计的。但是对于上述场景,是否是时候使用测试数据集来评估这些模型了。