我们正在通过 Google Analytics 运行 A/B 测试实验。在一项实验中,我们将“转化”定义为用户在我们网站上注册帐户时。每个唯一身份访问者只能转换一次,因为那时他们已经有一个帐户并且不能再次注册。但是,Google Analytics(分析)将转化率计算为每次实验会话的转化次数,因此,如果已经转化的用户返回我们的网站,它将计为另一个没有转化的会话。
我认为这会打乱我们的结果,因为注册用户更有可能返回我们的网站,因此他们会在总计数中添加会话而不是转化,从而降低其变体的转化率。我希望 Google 根据定义为每位唯一身份访问者的转化次数的转化率来选择实验获胜者。这可能吗?
这是实验数据(50/50 拆分):
Original:
{Experiment Sessions: 652, Conversions: 53, Conversion Rate: 8.13%, Compare to Original: 0%, Probability of Outperforming Original: 0.0%}
Variation 1:
{Experiment Sessions: 492, Conversions: 54, Conversion Rate: 10.98%, Compare to Original: 35.02%, Probability of Outperforming Original: 94.6%}
在这种情况下,原版的转化次数大致相同,并且假设唯一访问者的数量大致相同,但会话数要多得多。我认为这意味着看到原始版本的人更有可能在创建帐户后在另一个会话中返回该站点。但是,由于更高的转化率,变体 1 的置信度接近 95%,并且很可能成为赢家。这对我来说似乎不正确。有没有办法在这里获得更好的结果?