machine-learning - 在 CatBoost 中测量 AUPRC

Question

我想在 catboost 中测量精确召回曲线 (AUPRC) 曲线下的面积，但CatBoostClassifier, 没有AUPRC作为评估指标。任何有助于我测量此性能指标的建议将不胜感激。

这是我使用的代码：

model = CatBoostClassifier(
custom_loss=['Accuracy','Precision','Recall','F1','AUC'],
random_seed=42,
logging_level='Silent')
model.fit(
X_train, Y_train,
eval_set=(X_test, Y_test), plot=True)

Answer 1

Catboost 具有代表平均平均精度的 MAP 指标。与 AUCPR 几乎相同。这是一篇很好的参考文章，解释了原因。

Answer 2

要将平均精度用作度量，您可以使用eval_metric="PRAUC:use_weights=false与 具有相同含义的度量scikit-learn average_precision。该指标从catboost 0.32.1版本开始实施。