statistics - 比较两个网页（A/B 测试） - 两个样本部分测试

Question

我的网页上有两个更改，但我正在监视一堆变量。所以我能够从我的网站监控实验中提取如下：

Original solution: Visitors,   body link click-visitors,    most popular click-visitors,    share-visitors.
Solution with some change: Visitors,   body link click-visitors,    most popular click-visitors,    share-visitors.

我想知道简单的 2 样本部分测试。对原始和更改的解决方案进行每个监控变量和计算部分测试。

我不知道它是否能告诉我一些关于整体结果的信息——原始解决方案是否比有一些变化的解决方案更好。

我可以为此目的使用更好的东西吗？我会很感激你的任何建议。

Answer 1

在我看来，您混淆了两件事：感兴趣的业务指标和统计显着性测试。前者是您想要衡量的一些业务度量。这可能是销售额、转化率、订阅率或许多其他指标。有关使用错误度量的风险的很好的讨论，请参见本文。统计显着性是一种测试，它告诉您到目前为止所看到的测量次数是否足以证实两种体验之间的差异不太可能是随机的。参见例如这篇论文以获得很好的讨论。