0

我正在讨论在未产生显着结果的 A/B 测试之后运行后续测试。因此，我们测试了具有水平布局的现有控制页面 (C) 与具有列布局的新变体 (V1)。执行两个月后，变体 V1 的收入比对照页 C 高 2%，但击败原创的机会只有 58%。所以我们决定停止测试，因为它似乎不太可能得到显着的结果。

现在我们要修改变量并开始另一个测试。我的想法是创建一个新的变体 (V2) 并针对旧的控制页面 (C) 进行测试：C 与 V2。

但我的同事宁愿测试性能更好的 V1 变体与另一个变体：V2 与 V1。

处理这个问题的正确方法是什么？我们应该测试 C 与 V2 还是 V2 与 V1？

4

2 回答 2

0

第一个跟进应该是：是什么让 V1 中 2% 的收入突飞猛进？

  • 它是由单击特定元素引起的吗？
  • 是因为更频繁地访问页面/链接吗？

根据您从问题中学到的知识，您可以将学到的知识应用于您的控件或 V2。

保持迭代很重要（C > V1 > V2），分析测试同样重要，这样我们就可以从中学习！

于 2014-12-09T00:38:29.550 回答
0

听起来您为创建 V1 在 C 上所做的更改对转化率没有统计上的显着影响。

根据您网站上的流量，您可以通过两种方式设置下一个测试：

  • 如果您的网站没有大量流量，您可以将 V2 与 C 或 V1 进行比较（您选择哪个是主观的，可以基于您自己的偏好）。
  • 如果您的网站有大量流量（如果需要两个月来确认测试不会很重要，听起来您可能不会），您可以尝试在 A/B 中测试所有三个版本/C 格式来验证您的第一次测试的结果。需要仔细检查的一件事是使用样本量计算器来确保您有足够的样本量进行实验。
于 2014-07-24T00:13:24.423 回答