我之前曾问过获胜组合需要多长时间才能出现在Google 的 Web Optimizer上，但现在我在 A/B 测试中遇到了另一个奇怪的问题：
在过去的两天里，谷歌宣布有一个“高信心赢家”，它有98.5%的机会以27.4%的优势击败原始版本。伟大的！
我决定让它运行以确保绝对确定，但发生了一些奇怪的事情：今天谷歌说他们“还没有收集到足够的数据来显示任何重要的结果”（如下所示）。当然，数字略有变化，但仍然非常高：96.6%的几率比原版高出22%。
那么，为什么谷歌现在不太确定呢？
它是如何从具有统计意义的“高信心”获胜者转变为没有足够的数据来计算的呢？我的数字太小，谷歌无法确定还是什么？
感谢您的任何见解！
它是如何从具有统计意义的“高信心”获胜者转变为没有足够的数据来计算的呢？
在所有统计测试中，都有所谓的p-value，即假设所测试的内容之间没有差异，随机获得观察到的结果的概率。因此，当您运行测试时，您需要一个小的 p 值，以便您对结果充满信心。
所以 GWO 的 p 值必须在 1.5% 到 3.4% 之间（我猜是 2.5%，至少在这种情况下，可能取决于组合的数量）
因此，当 (100% - 击败 %) > p 值时，GWO 会说它没有收集到足够的信息，如果一个组合有 (100% - 击败 %) < p 值，那么就是获胜者被发现。显然，如果这条线刚刚越过，那么它可以很容易地返回更多数据。
总结一下，你不应该经常检查结果，你应该设置一个测试，然后忽略它很长一段时间，然后检查结果。
我的数字太小，谷歌无法确定还是什么？
不