6

有人可以帮我如何在 python 中为多类分类编写自定义 F1 分数？？？

编辑：我正在编辑问题以更好地了解我想要做什么

这是我针对 5 个类的多类问题的自定义 eval f1 分数指标的函数。

def evalerror(preds, dtrain):
    labels = dtrain.get_label()
    preds = preds.reshape(-1, 5)
    preds = preds.argmax(axis = 1)
    f_score = f1_score(preds, labels, average = 'weighted')
    return 'f1_score', f_score, True

注意：我正在重塑的原因是验证真值的长度为 252705，而 preds 是长度为 1263525 的数组，是实际值的 5 倍。原因是 LGB 为每个预测输出每个类别的概率。

下面我将训练和验证数据转换为 LGB 可以接受的格式。

dtrain = lgb.Dataset(train_X, label= train_Y, free_raw_data = False)
dvalid = lgb.Dataset(valid_X, label= valid_Y, free_raw_data = False, 
                     reference= dtrain)

下面是我适合训练数据的 LGB 模型。如您所见，我已将evalerror自定义函数传递给我的模型，以及我希望在训练时查看 f1 分数feval的验证数据。dvalid我正在训练模型进行 10 次迭代。

evals_result = {}
num_round = 10
lgb_model = lgb.train(params, 
                      dtrain, 
                      num_round, 
                      valid_sets = dvalid, 
                      feval = evalerror,
                      evals_result = evals_result)

由于模型正在接受 10 轮训练，验证集上每次迭代的 F1 分数显示在下方，这是不正确的，因为我得到了 0.18 左右。

[1]     valid_0's multi_logloss: 1.46839        valid_0's f1_score: 0.183719
[2]     valid_0's multi_logloss: 1.35684        valid_0's f1_score: 0.183842
[3]     valid_0's multi_logloss: 1.26527        valid_0's f1_score: 0.183853
[4]     valid_0's multi_logloss: 1.18799        valid_0's f1_score: 0.183909
[5]     valid_0's multi_logloss: 1.12187        valid_0's f1_score: 0.187206
[6]     valid_0's multi_logloss: 1.06452        valid_0's f1_score: 0.187503
[7]     valid_0's multi_logloss: 1.01437        valid_0's f1_score: 0.187327
[8]     valid_0's multi_logloss: 0.97037        valid_0's f1_score: 0.187511
[9]     valid_0's multi_logloss: 0.931498       valid_0's f1_score: 0.186957
[10]    valid_0's multi_logloss: 0.896877       valid_0's f1_score: 0.18751

但是一旦模型训练了 10 次迭代，我就会运行下面的代码来预测相同的验证集。

lgb_prediction = lgb_model.predict(valid_X)
lgb_prediction = lgb_prediction.argmax(axis = 1)
lgb_F1 = f1_score(lgb_prediction, valid_Y, average = 'weighted')
print("The Light GBM F1 is", lgb_F1)

The Light GBM F1 is 0.743250263548

注意：我没有像在自定义函数中那样重新整形是因为lgb_model.predict()输出了一个 (252705, 5) 的 numpy 数组另外请注意，我正在传递valid_X而不是dvalid因为在预测时我们将不得不传递原始格式而不是像我们传入的稀疏格式lgb.train()

当我在相同的验证数据集上进行预测时，我得到的 F1 分数为 0.743250263548，这已经足够好了。所以我期望的是第 10 次迭代的验证 F1 分数，而训练应该与我在训练模型后预测的相同。

有人可以帮助我解决我做错的事情。谢谢

4

2 回答 2

4

我遇到过同样的问题。

Lgb 预测以扁平数组的形式输出。

通过检查，我发现它是这样的：

样本a到类别的概率i位于

num_classes*(a-1) + i位置

至于你的代码，应该是这样的：

    def evalerror(preds, dtrain):

        labels = dtrain.get_label()
        preds = preds.reshape(5, -1).T
        preds = preds.argmax(axis = 1)
        f_score = f1_score(labels , preds,  average = 'weighted')
        return 'f1_score', f_score, True
于 2018-12-23T11:08:22.843 回答
2 
sklearn.metrics.f1_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’, sample_weight=None)[source]

所以根据这个你应该更正：

#f1_score(labels , preds)
def evalerror(preds, dtrain):
    labels = dtrain.get_label()
    preds = preds.reshape(-1, 5)
    preds = preds.argmax(axis = 1)
    f_score = f1_score(labels , preds,  average = 'weighted')
    return 'f1_score', f_score, True
于 2018-07-02T17:54:10.873 回答