-1

我在 ML 中有一个用例,其中我有 2 个类,0 和 1 用于给定文本。

  • Class-0:可以承受一些错误分类
  • Class-1:非常重要,不能承受任何错误分类

两个类的样本都存在巨大的不平衡,0 类大约 30000 个,1 类只有 1000 个

在进行训练测试拆分时,我根据标签对拆分进行分层,这样,每个标签类保持 70% 训练和 30% 测试的比例。

我想以这样的方式调整参数,Precision或者Recall为 class-1 改进。我尝试使用“f1_macro”、“precision”、“recall”作为单独的指标,并将所有指标组合起来使用 GridSearchCV 进行调整,但由于大多数样本为 Class-0,因此它的帮助较小。

我正在探索减少 0 类数据的更安全的方法,尽管我们可以减少的程度很小,无论如何,即使没有调整或使用任何参数,0 类的 f1 分数总是高于 98%。

所以我关心的只是调优class-1

您能否建议,也许是一个定制的可调用指标,使其仅关注 Class-1 的精度、召回率或 F1 分数?

我正在使用 scikit-learn 最新的稳定版本。

类似的问题在这里,作者正在尝试使用它被建议尝试自定义指标来调整 Class-1 的 F1 分数Neural Networks (MLP)Keras
只是没有提到如何。
可以在这里回答 Scikit-Learn 的人,也可以回答下面的 Keras 链接。 通过 RandomizedSearchCV 在 Keras (MLP) 中调整超参数

4

1 回答 1

0

使用class_weight='balanced'在这里有帮助。

我在 Scikit-Learn 的官方文档页面中引用了这些文章。

了解参数class_weights的工作原理:
https ://scikit-learn.org/stable/modules/svm.html#unbalanced-problems https://stackoverflow.com/a/30982811/3149277

了解使用哪些参数class_weights
https
://scikit-learn.org/stable/modules/svm.html#tips-on-practical-use scikit-learn 中的 class_weight 参数如何工作?

虽然由于时间限制,我没有费心定义自定义函数,因为这似乎接近我的预期。

于 2019-10-28T12:03:22.220 回答