scikit-learn - 加权 AUC 的网格搜索

Question

所以我使用的是样本权重函数，我不想使用默认的 sklearn 评分函数来衡量性能。

看起来它说在这里我可以传递GridSearchCV字符串'roc_auc'，它应该为我计算auc，但它计算的auc是加权auc还是只是一个普通的auc？

Answer 1

感谢书呆子狙击。

我制作了一个二进制分类数据集来测试这个问题。

x y weight 
0 0   1
1 1   1
<repeated 25 times>
0 1   0
1 0   0
<repeated 25 times>

使用蟒蛇：

X = np.array([[0], [1]] * 25 +  [[0], [1]] * 25)
y = np.array([ 0 ,  1 ] * 25 +  [ 1 ,  0 ] * 25)
w = np.array([ 1 ,  1 ] * 25 +  [ 0 ,  0 ] * 25)

在这个数据集中，我们可以看到，如果存在样本权重，模型将产生非常好的拟合并且对数损失非常低。如果权重不存在，损失将非常高。

然后我们可以构建使用GridSearchCV来查看是否使用了权重。

clf = LogisticRegression(solver='newton-cg', C=100)
gs = GridSearchCV(clf, {},
                  fit_params={"sample_weight": w}, 
                  scoring="log_loss", cv=KFold(y.shape[0],10, shuffle=True))
gs.fit(X,y)
gs.grid_scores_

[mean: -2.68562, std: 0.68038, params: {}]

我们可以看到损失相当高，这表明没有使用权重。

我为 scikit-learn 写了一个补丁来解决这个问题。请认为它是实验性的。https://github.com/scikit-learn/scikit-learn/compare/master...dmaust:master

应用补丁后，我们可以启用score_sample_weight，重复之前的测试，并且可以看到我们期望从考虑的权重中得到的日志损失。

gs.score_sample_weight=True
gs.fit(X,y)
gs.grid_scores_

[mean: -0.00486, std: 0.00016, params: {}]