所以我使用的是样本权重函数,我不想使用默认的 sklearn 评分函数来衡量性能。
看起来它说在这里我可以传递GridSearchCV
字符串'roc_auc',它应该为我计算auc,但它计算的auc是加权auc还是只是一个普通的auc?
所以我使用的是样本权重函数,我不想使用默认的 sklearn 评分函数来衡量性能。
看起来它说在这里我可以传递GridSearchCV
字符串'roc_auc',它应该为我计算auc,但它计算的auc是加权auc还是只是一个普通的auc?
感谢书呆子狙击。
我制作了一个二进制分类数据集来测试这个问题。
x y weight
0 0 1
1 1 1
<repeated 25 times>
0 1 0
1 0 0
<repeated 25 times>
使用蟒蛇:
X = np.array([[0], [1]] * 25 + [[0], [1]] * 25)
y = np.array([ 0 , 1 ] * 25 + [ 1 , 0 ] * 25)
w = np.array([ 1 , 1 ] * 25 + [ 0 , 0 ] * 25)
在这个数据集中,我们可以看到,如果存在样本权重,模型将产生非常好的拟合并且对数损失非常低。如果权重不存在,损失将非常高。
然后我们可以构建使用GridSearchCV
来查看是否使用了权重。
clf = LogisticRegression(solver='newton-cg', C=100)
gs = GridSearchCV(clf, {},
fit_params={"sample_weight": w},
scoring="log_loss", cv=KFold(y.shape[0],10, shuffle=True))
gs.fit(X,y)
gs.grid_scores_
[mean: -2.68562, std: 0.68038, params: {}]
我们可以看到损失相当高,这表明没有使用权重。
我为 scikit-learn 写了一个补丁来解决这个问题。请认为它是实验性的。https://github.com/scikit-learn/scikit-learn/compare/master...dmaust:master
应用补丁后,我们可以启用score_sample_weight
,重复之前的测试,并且可以看到我们期望从考虑的权重中得到的日志损失。
gs.score_sample_weight=True
gs.fit(X,y)
gs.grid_scores_
[mean: -0.00486, std: 0.00016, params: {}]