statistics - 何时需要进行多重比较校正？

Question

我在假设检验方面不是很有经验，并且在发生多重比较问题时有问题的理解？

正如我所理解的多重比较问题发生在尝试从单个数据库执行多个统计测试时。因此，为了得出正确的结论，应调整显着性水平。（我对吗？）

在我的情况下，我有一个数据库，我对数据库的不同部分执行了几个 t 检验。换句话说，每个测试的数据与另一个测试完全不同，而所有数据都属于一个数据库。所以，原则上我的测试中不应该存在多重比较问题，对吗？

提前致谢。

Answer 1

多重假设检验试图同时对所有变量进行假设检验。当其中一些关于单个变量的假设失败时，您会拒绝您的 null ，而不是您的所有假设都失败（一个非常不可能的事件）。

例如，当您对所有变量使用 95% 的置信区间进行多重测试时，您实际上是在针对上述第二种情况进行测试，即所有假设都失败了。这不是你想要的多重测试。因此，每个变量的置信区间都应该放宽一点，以适应只有一些假设失败的情况。

因此，这实际上取决于您的目标：

• 如果您正在针对涉及多个变量的场景进行测试（您想得出一个总体结论），那么是的，这是多个测试并且应该调整每个变量的置信区间。
• 如果您想对每个变量进行测试（您想为每个变量得出一个结论），那么您的每个测试都是单变量测试，您不需要调整。