machine-learning - 数据子集的分类器性能

Question

我正在使用 Weka 对一组标记的网页执行分类，并使用 AUC 测量分类器性能。我有一个单独的六级因子，在分类中没有使用，我想知道分类器在因子的每个级别上的表现如何。

我应该使用哪些技术或措施来测试数据子集上的分类器性能？

Answer 1

我不确定这是否正是您要问的，但人们经常使用交叉验证将一组数据分解为多个训练/测试子集，以更好地评估学习性能。

基本思想（例如 10 折交叉验证）是：

1. 将您的数据随机分成训练集和测试集
2. 在训练集上训练分类器
3. 评估其在测试集上的表现
4. 使用不同的随机训练/测试拆分再重复步骤 1-3 九次

分类器的整体性能是它在所有 10 个测试集上的平均性能。

我环顾四周，发现了一些如何以编程方式或通过 Weka UI执行交叉验证的示例。

Answer 2

Nate Kohl推荐的步骤都是正确的。另一个非常重要的问题是衡量性能的功能。以我的经验，最大化 AUC 有时会导致分类器的严重偏差。我更喜欢将Matthews 相关系数 (MCC)用于二元分类器，或将Cohen 的 kappa用于具有两个以上可能值的分类分类器