我对 p 值的概念感到困惑。一般来说，如果 p 值大于通常为 0.05 的 alpha，我们无法拒绝原假设，如果 p 值小于 alpha，我们拒绝原假设。据我了解，如果 p 值大于 alpha，则两组之间的差异只是来自采样错误或偶然。到目前为止一切都还好。但是，如果 p 值小于 alpha，则结果具有统计意义，我假设它在统计上不显着（因为如果 p 值小于 alpha，我们拒绝零假设）。
基本上，如果结果具有统计显着性，则拒绝零假设。但是，如果一个假设在统计上是显着的，怎么能被拒绝呢？从“统计显着”这个词，我理解结果是好的。
您误解了重要性在 p 值方面的含义。
我将尝试在下面解释：
让我们假设一个关于两个总体的均值相等的测试。我们将通过从每个总体中抽取一个样本并计算 p 值来执行 t 检验。
原假设和备择：
H0: m1 - m2 = 0
H1: m1 - m2 != 0
这是一个双尾测试（尽管对此并不重要）。
让我们假设你得到一个 p 值0.01并且你的 alpha 是 0.05。p 值是从两个总体（m1 和 m2）中抽样时均值相等的概率。这意味着均值相等的概率为 1%，换句话说，100 个样本对中只有 1 个的均值差为 0。
两个均值相等的概率如此之低，使我们确信（使我们确定）总体的均值不相等，因此我们认为结果具有统计显着性。
让我们认为结果很重要的门槛是什么？这是由显着性水平 (a) 决定的，在这种情况下为 5%。
p 值小于显着性水平使我们认为结果是显着的，因此我们确信我们可以拒绝原假设，因为原假设为真的概率非常低。
我希望现在说得通！
让我举一个我经常和学生一起使用的例子，以解释零假设、阿尔法和显着性的概念。
假设我们正在玩一轮扑克。我发牌，我们下注。嘿，幸运的我！我的第一手牌是同花。你诅咒你的运气，我们再次交易。我再次获得同花并获胜。又一轮，又一次，我得到 4 个 ace：此时你踢桌并称我为作弊者：“这是 bs！你想抢劫我！”
让我们用概率来解释这一点：第一手拿到同花有一种可能性：任何人都可以幸运。连续两次太幸运的可能性较小。终于有可能连续三次获得真正的幸运。但是对于第三个镜头，你说：“你得到 SO LUCKY 的可能性太小了。我拒绝认为你只是幸运的想法。我称你为骗子”。也就是说，您拒绝了原假设（没有发生任何事情的假设！）
在所有情况下，零假设都是：“我们正在观察的这件事是随机性的影响”。在我们的示例中，原假设状态：“我只是一个接一个地拿到所有这些好牌，因为我很幸运”
p 值是与事件相关联的值，假设它是随机发生的。在正确洗牌后，您可以计算在扑克中获得好牌的几率。或者例如：如果我抛一个公平的硬币 20 次，我连续获得 20 个正面的几率是 1/(2^20) = 0.000000953（非常小）。这是连续 20 次正面朝上的 p 值，投掷 20 次。
“统计上显着”，意思是“这个事件似乎很奇怪。它偶然发生的可能性非常小。所以，我会拒绝零假设。”
Alpha 或临界 p 值是您“踢桌子”并拒绝原假设的神奇点。在实验性应用程序中，您提前定义了这一点（alpha=0.05，例如）在我们的扑克示例中，您可以在三手幸运牌后或在 12 手牌中的 10 手牌后称我为作弊者，依此类推。这是一个概率阈值。
好的p值你至少应该知道零假设和替代假设 零假设意味着举个例子，我们有2朵花，它说它们之间没有显着差异， 而替代假设说它们之间有显着差异
是的，大多数数据科学家将 p 值的显着值设为 0.05，但它基于研究（显着水平的值） 0.5 0.05 0.01 0.001 可以作为 p 值
好的，现在 p 值由您获取，但下一步该做什么
如果您的模型 p 值为 0.03 并且您已采用 0.05 的显着值，那么您必须拒绝零假设意味着 2 朵花之间存在显着差异或简单如所述
模型的 p 值 < 显着水平而不是拒绝它
并且您的模型 p 值大于零假设将接受的显着水平。