0

我已经使用 Google Experiments 实现了 A/B 测试。但是，我们不希望 A/B 测试在一段时间内开始，因此在显示 B 变体时设置了日期驱动条件。出于好奇，我还是在 B 变体上线日期之前开始了实验。因此，在实验开始时，Google Experiments 为我选择了一个变体（A 或 B，参见下面的代码），无论选择什么变体，我都会显示变体 A（因为我们还没有达到上线日期）。这有效地给了我一个 A/A 测试，我预计它会是一个死胡同。Google 不知道我在这个阶段向每个变体显示完全相同的页面元素。

但是，我得到以下结果（显示每个会话的页面浏览量）： 在此处输入图像描述

上图显示了 B 变体上线当天的结果。虽然我预计页面浏览量会出现一些自然变化，但变体 B 始终如一地获胜，以至于在这一点上它显示的页面与变体 A 相同，因此似乎有些错误。有什么想法我可能做错了吗？

这是我们使用的代码：

      <script type="text/javascript" 
              src="//www.google-analytics.com/cx/api.js?experiment=MY_EXPERIMENT_ID"><!-- --></script>

      <script>
            function enableVariationB(shouldEnable) {
                var enableExperimentDate = new Date(2015, 6, 10);    
                var today = new Date();

                if (today < enableExperimentDate || shouldEnable) {
                    $('#variation_B').show();
                } else {
                    $('#variation_B').hide();
                }
            }

            //Call to Google Experiments to return 1 or 2 depending on 
            //which variation is to be shown to the user
            var chosenVariation = cxApi.chooseVariation();

            var pageVariations = [
                      function() {  
                          enableVariationB(true);  
                      }, 
                      function() {
                          enableVariationB(false);    
                      }
            ];

            $(document).ready(
                 pageVariations[chosenVariation]
            );
     </script>
4

1 回答 1

1

唔。在查看数据之前，在实验设置中，today < enableExperimentDate应在调用之前进行检查cxApi.chooseVariation()。

原因：即使从 Google 的角度来看，访问者被分配到变体 B，如果他/她未通过实验日期检查，即使他/她应该在变体 B 中，用户也会看到变体 A。

现在看数据，

  1. 流量不足：您的网站/应用程序获得了多少流量？如果交通量低可能只是巧合，结果不是决定性的。

  2. 不明确的成功指标/总体评估标准 (OEC)：尽管变体 B 的页面浏览量高于变体 A，但您的实验试图优化什么成功指标？只看观看次数是不够的。

  3. 下结论为时过早：例如，如果 OEC 将页面浏览量从 1 增加到 2，则根据您的网站每天获得的流量，假设需要 1 个月的时间才能使该数据量达到 95%对你的实验有信心，实验者不应该过早地看结果并得出结论哪个治疗赢了或没有——因为它还没有足够的流量给你95%的信心。

  4. 假阳性仍然是阳性：即使我们对结果有 95% 的置信度，仍然有 5% 的机会出现假阳性结果——也就是说，如果你进行 20 次测试，从统计学上讲，其中 1 次测试结果将不正确。这就是为什么实验者为了确定而在以后重新进行实验的情况并不少见。

希望以上几点有所帮助！

于 2015-10-07T16:25:27.647 回答