3

变体 1 和变体 5（见下文）的转化率都低于原始版本，但它们都被标记为更有可能胜过原始版本。

我看到错误了吗？如果没有，有人可以阐明如何计算这种优于原始值的概率吗？谢谢。

原始
2,071 次实验会话
1,055 次转化
50.94% 转化率
0% 与原始
相比 0.0% 优于原始的概率

变体 2
1,028 次实验会话
541 次转化
52.63% 转化率
3% 与原始
相比 69.2% 优于原始的概率

变化 4
1,786 次实验会话
914 次转化
51.18% 转化率
0% 与原始
相比 61.7% 的概率优于原始

变化 1
523 次实验
258 次转化
49.33% 转化率
-3% 与原始相比
58.0% 优于原始的概率

变化 5
837 次实验会话
423 次转化
50.54% 转化率
-1% 与原始
相比 53.2% 的概率优于原始

变化 3
517 次实验会话
242 次转化
46.81% 转化率
-8% 与原始
相比 44.0% 优于原始的概率

4

1 回答 1

0

在这里放一些马术不是任何基本或简单的计算。Google Experiments 的计算是基于 Multi-armed Bandit 的“问题”。

这个概念描述了您希望以最大化奖励的方式进行实验的任何情况

完整说明可在 Google 文档中找到 - 此处： https ://support.google.com/analytics/answer/2844870?hl=en

基于多臂老虎机的实验通常比基于统计假设检验的“经典” AB 实验更有效。它们在统计上同样有效，并且在许多情况下，它们可以更快地产生答案。

它们更有效，因为它们逐渐将流量转移到赢得变化，而不是强迫您在实验结束时等待“最终答案”。

它们的速度更快，因为可以将那些明显变差的样本分配给潜在的赢家。在高性能变体上收集的额外数据可以帮助更快地将“好”臂与“最佳”臂区分开来。

计算示例在这里： https: //support.google.com/analytics/answer/2846882

我希望它可以帮助您更多地了解 Google 是如何计算获胜者的。

于 2017-08-04T08:48:37.393 回答