classification - 如何使用任何 t 检验比较数据集上的分类器？

Question

我想通过使用任何 t 检验来比较数据集上的分类器。我的问题在这里我应该使用什么来进行比较。前任。分类器 1 我将为准确率、精度、召回率等建立列；分类器 2 也是如此。然后应用任何 t 检验。这是合乎逻辑的吗？如果不是我怎么能做这个比较？哪个工具可以进行这种比较？

提前致谢

Answer 1

最根本的问题是你想展示什么？

只要您确定准确性的分布（或您在不同数据集上测量的任何内容：召回率、精度等）是正态分布的，您就可以尝试您的建议（t 检验）。在我看来，尚不清楚他们是否会这样做。

为了比较两个分类器在数据集上的性能，人们通常会计算ROC 曲线，并通常使用等错误率或曲线下面积 (AUC)。AUC 与 Mann-Whitney U 统计量相关。

在固定数据集上比较两个二元分类器时通常会做的其他事情是评估McNemar 测试，以评估性能差异是否具有统计显着性。