web - Google Web Optimizer -- 多久才能赢得组合？

Question

我已经在Google Web Optimizer中运行了六周的 A/B 测试，但仍然看不到尽头。谷歌仍在说：“我们还没有收集到足够的数据来显示任何显着的结果。当我们收集更多的数据时，我们应该能够向你展示一个成功的组合。”

有什么方法可以说明谷歌离下定决心有多近？（有谁知道它使用什么算法来决定是否有任何“高置信度赢家”？）

根据谷歌帮助文档：

有时我们只需要更多的数据就能达到高置信度。一个经过测试的组合通常需要大约 200 次转换，我们才能确定地判断其性能。

但目前我们所有的转换都有超过 200 次对话：

230 / 4061（原始）
223 / 3937（变体 1）
205 / 3984（变体 2）
205 / 4007（变体 3）

还要跑多久？？

谢谢你的帮助。

Answer 1

有什么方法可以说明谷歌离下定决心有多近？

您可以使用 GWO 计算器根据您提供的许多假设来帮助确定测试需要多长时间。但请记住，您的测试组合之间可能没有显着差异，在这种情况下，要查看哪个最好的测试将花费无限的时间，因为不可能找到获胜者。

（有谁知道它使用什么算法来决定是否有任何“高置信度赢家”？）

这是一个谜，但对于大多数（如果不是全部）统计测试来说，存在所谓的 p 值，它是获得与仅凭偶然观察到的结果一样极端的结果的概率。GWO 测试一直运行到 p 值通过某个阈值，可能是 5%。更清楚地说，GWO 测试一直运行到某个组合明显优于原始组合，这样结果仅偶然发生的几率只有 5%。

对于您的测试，似乎没有重要的赢家，这是平局。