statistics - 不同变量集的配对 T 检验

Question

比较不同变量/属性集但相同样本的机器学习算法的结果是否有意义？

我正在比较不同的变量/属性组以找到最有效的变量/属性组。通常，您使用 t 检验来比较另一个样本在相同变量上的结果是否显着不同。我可以反过来吗？

Answer 1

如果要比较来自一个样本的两个值，可以使用一个样本 t 检验。

但是，如果您想比较两个以上的值，则由于多重比较问题，您不应该使用 t 检验。基本上，这只是意味着您计算的 t 检验越多，出现 1 类错误的机会就越高。为了避免这种情况，您可以通过成对比较（例如 Bonferroni）计算重复测量方差分析。