我们想要达到的目标
我们正在使用 Google Analytics Cohort Analysis 对一项功能进行 AB 测试。我们在客户端生成一个参数,将 50% 的用户设置为“是”,将 50% 的用户设置为“否”。然后将此参数发送到 Google Analytics,并用于创建两个自定义细分:
- 启用功能:功能“是”
- 功能已禁用:功能“否”
然后,我们等待一周并生成两个保留队列分析,每个细分一个,以确定哪个版本的功能(A 或 B)更好。
问题
我们注意到谷歌分析返回明显不同版本的数据,显然是没有原因的。更具体地说,它似乎有两个不同版本的数据,差异足以导致我们得出完全相反的结论,并根据其他随机因素来显示一个或另一个,例如我是否在分析中添加第三部分。
"版本 A 明显更好。<\page refresh> 哦不,现在版本 B 更好!? "
还有其他人遇到同样的问题吗?这是谷歌分析的一个错误吗?