我正在讨论在未产生显着结果的 A/B 测试之后运行后续测试。因此,我们测试了具有水平布局的现有控制页面 (C) 与具有列布局的新变体 (V1)。执行两个月后,变体 V1 的收入比对照页 C 高 2%,但击败原创的机会只有 58%。所以我们决定停止测试,因为它似乎不太可能得到显着的结果。
现在我们要修改变量并开始另一个测试。我的想法是创建一个新的变体 (V2) 并针对旧的控制页面 (C) 进行测试:C 与 V2。
但我的同事宁愿测试性能更好的 V1 变体与另一个变体:V2 与 V1。
处理这个问题的正确方法是什么?我们应该测试 C 与 V2 还是 V2 与 V1?