machine-learning - 如何使用配对 T 检验比较 Weka 中的两个分类器

Question

在 Weka，我可以去找实验者。在设置中，我可以加载一个 .arff 文件，并让 weka 创建一个分类器（即 J48），然后我可以运行它，最后我可以转到分析选项卡。在此选项卡中，它为我提供了“使用配对 T 检验进行测试”的选项，但我无法弄清楚如何创建第二个分类器（即未修剪的 J48）并对两个结果进行 T 检验。

Google 不会引导我找到任何教程或答案。

如何让 Weka 对使用相同数据的两个不同分类器的结果进行 T 检验？

Answer 1

请按照http://fiji.sc/Advanced_Weka_Segmentation__-_How_to_compare_classifiers中的步骤操作。

在此屏幕截图中，作者将显着性级别设置为0.05。据我了解，在这样的测试中，您总是与基线分类器（这里是 NaiveBayes）进行比较，输出使用注释 v 或 * 表示特定结果在统计上优于 (v) 或更差 (*)指定显着性水平的基线方案（当前为 0.05）。不过，它可能不是您所期望的。