我在 ML 中有一个用例,其中我有 2 个类,0 和 1 用于给定文本。
Class-0:
可以承受一些错误分类Class-1:
非常重要,不能承受任何错误分类
两个类的样本都存在巨大的不平衡,0 类大约 30000 个,1 类只有 1000 个
在进行训练测试拆分时,我根据标签对拆分进行分层,这样,每个标签类保持 70% 训练和 30% 测试的比例。
我想以这样的方式调整参数,Precision
或者Recall
为 class-1 改进。我尝试使用“f1_macro”、“precision”、“recall”作为单独的指标,并将所有指标组合起来使用 GridSearchCV 进行调整,但由于大多数样本为 Class-0,因此它的帮助较小。
我正在探索减少 0 类数据的更安全的方法,尽管我们可以减少的程度很小,无论如何,即使没有调整或使用任何参数,0 类的 f1 分数总是高于 98%。
所以我关心的只是调优class-1
。
您能否建议,也许是一个定制的可调用指标,使其仅关注 Class-1 的精度、召回率或 F1 分数?
我正在使用 scikit-learn 最新的稳定版本。
类似的问题在这里,作者正在尝试使用它被建议尝试自定义指标来调整 Class-1 的 F1 分数Neural Networks (MLP)
,Keras
只是没有提到如何。
可以在这里回答 Scikit-Learn 的人,也可以回答下面的 Keras 链接。
通过 RandomizedSearchCV 在 Keras (MLP) 中调整超参数