scikit-learn - scikit-learn 中交叉验证的一种标准错误规则

Question

我正在尝试使用 grisSearchCV 在 scikit-learn 中拟合一些模型，并且我想使用“一个标准错误”规则来选择最佳模型，即从得分在一个以内的模型子集中选择最简约的模型最好成绩的标准误。有没有办法做到这一点？

Answer 1

您可以使用以下方法计算验证分数平均值的标准误差：

from scipy.stats import sem

然后访问grid_scores_拟合GridSearchCV对象的属性。此属性在 scikit-learn 的 master 分支中已更改，因此请使用交互式 shell 来检查其结构。

至于选择最简约的模型，模型的模型参数并不总是有一个自由度的解释。参数的含义通常是特定于模型的，并且没有高级元数据来解释它们的“简约性”。您可能必须根据每个模型类的具体情况对您的解释进行编码。