我们开始使用 Optimizely，结果让我们大吃一惊，所以我们开始制作激进的广告系列。但后来我们意识到出了点问题，如果我们能得到任何帮助，我将不胜感激。
我们（例如）在首页而不是蓝色 CTA 上进行了测试，我们创建了一个带有绿色 CTA 的变体，我们看到该变体的转化次数增加了 35%。所以我们切换了一些东西，将绿色 CTA 设置为控件，将蓝色 CTA 设置为变体。如果绿色 CTA 确实更好，我们现在应该会看到随着蓝色 CTA 的变化，转化率下降了 35%。相反，这种变化带来了更高的转化率。
我无法确定我们做错了什么，但总的来说，所有变体的成功率都高于对照，但如果我们改变事物并将变体设置为对照，结果不会改变。
你如何衡量转化率？以多于一次的方式进行衡量通常是一种好习惯——例如，对于 CTA 实验，我会衡量点击次数、登陆链接重定向的页面、有效的表单提交等。扩展您对数据的看法并查看变化如何会影响其他部分的用户体验总是一个好主意。
尝试：在结果页面上应用不同的部分来确定每个变化的改进我建议设置 90% 的统计显着性如果你在 2 个单独的测试中测试，也许你没有让它在正确的时间我通常更喜欢让它们在一周内避免季节性，
您是否正在对已经运行的实验进行这些调整？您应该记住，一旦您开始实验，用户就会被分桶，因此可以说，在实验运行之后或期间进行调整（例如切换谁属于或不属于控件）不会让您重新开始。如果您正在进行您描述的调整，那么您需要创建一个新实验。