1

我们已经运行了许多 AA 测试来验证我们的 Optimize 设置是否正确,但是我们看到了大量的误报(即 Optimize 报告了明确的领导者,尽管变体没有差异)。

体验设置 我们现在已经设置并运行了 6 个配置为 AA 测试的体验。每种体验都设置为 AB 测试,其中包含 2 个没有差异的变体,并且每个变体之间分配了 50/50 的流量。主要目标是“事件”类型,我们使用不同的事件作为不同体验的主要目标。页面定位设置为域上的所有页面(当 URL 以https://www.ourdomain.com开头时),受众定位设置为所有访问者。对于我们运行诊断和优化安装的每一次体验,都已成功验证。

体验报告 所有 6 种体验都运行到 Optimize 报告明确的领导者或未找到明确的领导者的地步。鉴于变体之间没有差异,我们本来预计大多数测试的经验会报告不确定的结果(没有明确的领导者)。然而,在这 6 次体验中,有 2 次报告说有一个基于主要目标集的明确领导者。这是 33% 的误报率——远高于我们的预期。

我们将如何调试导致这种高误报率的原因?

4

0 回答 0