google-analytics - 谷歌内容实验的样本量

Question

在为 2 种变体进行谷歌内容实验时，任何人都可以告诉我需要什么样的流量/样本量才能获得统计上显着的结果？

Answer 1

Google 使用 Multi Armed Bandit 测试。这是一篇关于这个谷歌答案的好文章

实践中的最佳方法是查看 Google 分析实验选项卡中的百分比，看看它向 95% 移动的速度有多快。

您无法得到准确的答案，因为它会随着您进行测量并根据您尝试测量的差异而变化。因此，如果一种变体的性能比另一种好 300%，那么与一个变体只比另一种性能好 10% 的情况相比，它需要的样本量要小得多。

在这里了解直接统计显着性的数学原理是一个很好的解释。统计显着性教程

这是一个有计算器的地方

至于多武装强盗的数学，彼得·惠特尔的这句话总结了它

[强盗问题]是在[第二次世界大战]战争期间提出的，解决它的努力消耗了盟军分析家的精力和思想，以至于有人建议将这个问题放在德国上空，作为智力破坏的最终工具。