1

Optimizely 的样本量计算器显示,较高的基线转换率会导致 A/B 测试所需的样本量更小。所以,我不想最大化我的转化目标,而是最小化相反的目标,即没有达到目标。
对于转化率低于 50% 的每个目标,其互补性都将高于 50%,因此如果有针对性,则需要更小的样本量。

一个例子:payment-success.html我宁愿测量所有不访问它的用户,而不是测量所有访问它的用户,并尝试将其最小化。如果我的推理是正确的,这通常需要小得多的样本量!

Optimizely 只允许我将浏览量作为目标,而不是-pageviewing。
我意识到我可能在这里遗漏或误解了一些重要的东西,但如果是这样,那是什么?

4

2 回答 2

3

从统计上看,您的方法没有任何问题,但不幸的是,它不会产生降低持续时间的预期效果。

虽然您会减少误差幅度,但您会成比例地减少提升,从而使您花费相同的时间来达到信心。

由于提升是按基准转化率的百分比计算的,因此较大基准的转化率的相同变化将产生较小的提升。

假设您的实际转化率为 10%,而测试最终将其提高到 12%。反向转换率为 90%,然后降至 88%。在这两种情况下,它都是 2% 的变化,但是 2% 对 10% 的变化(这是 20% 的提升)比对 90%(只有 -2.22% 的提升)的变化要大得多。

实际上,您冒着更大的风险将人们错误地放入目标中。您知道点击成功页面的人应该计入目标。我很确定您的建议会导致在用户看到实验后未出现在成功页面上的每个综合浏览量都算作目标。

假设您正在测试主页。人 A 和 B 都登陆主页并查看实验。

  • A 人访问了另外 1 个页面并离开
  • B 人访问了另外 1 个页面并购买了一些东西

如果您的目标是在成功页面上设置的,那么只有 B 人会触发该目标。如果目标是在所有其他页面上设置的,那么两个人都会触发目标。这显然不是相反的。

事实上,如果在用户第一次看到实验后有任何页面需要到达成功页面(所以除非你正在测试结帐的最后一步),每个人都会触发反向浏览量目标(无论他们是点击成功页面还是不是)。

Optimizely 网页浏览目标不仅适用于实验的 URL 定位中包含的网页。任何看过该实验并在任何时候点击该页面的人都会计算它们。

于 2016-03-31T18:11:36.683 回答
1

只是为了回答这是否可能(不解决您的设置是否会产生相同的结果),您是对的,Optimizely 网页浏览目标不允许not,但您可以使用正则表达式匹配类型来实现您想要的(请参阅此处第 3 点中的“URL 匹配类型” )。在这种情况下,它看起来像这样,取自这里的答案(这也解释了在正则表达式中匹配所涉及的复杂性,这表明为什么 Optimizely 没有在产品中构建综合浏览量)。

^((?!payment-success\.html).)*$

希望这可以帮助你到达你想要的地方。

于 2016-03-30T12:58:04.683 回答