问题标签 [abtest]

我有问题分享我的 AB 测试。我看到变体在 Chrome 上运行，但如果我使用隐身模式或 Firefox，它不会显示。我已经使用共享预览链接进行了测试，甚至登录这些浏览器并从测试页面启动预览。例如，这是一个简单的控制台日志。左侧是 Chrome 隐身版，右侧是常规 Chrome。我跟踪了控制台日志代码（GO 插入的函数），它只显示在常规 Chrome 中。知道出了什么问题吗？谢谢

我们目前使用 Google Optimize 进行 AB 测试。我们想在我们每个页面上显示的 CTA 按钮上推出一个站点范围的测试。它只是简单地更改按钮上的措辞。

我们只能同时运行 5 个测试，并且此按钮出现在 5 个以上的页面上。

所以我想知道这是否可能，或者是否有人成功地做类似的事情？

非常感谢任何帮助/信息。

我想绘制什么

嗨，我想可视化一项 A/B 测试的结果。该实验跟踪 4 个指标，我想将它们完全显示在一个图中。我的数据框的架构是：

测试控制 | 公制1 | 公制2 | 公制3 | 公制4

有谁知道如何通过 matplotlib、pandas 或 seaborn 进行绘图？

提前致谢！

我做了一个非常简单的文字，网站左侧或网站右侧的页脚联系表。结果显示“没有明显的赢家”。但是下面的数据显示一个有 5 次转化，而我认为这是很重要的（尽管数字很低）。它还说这个有 95% 的可能性会更好。

我对这些数据有什么不明白的地方？是数字太低而无法阅读，还是错误或我错过了什么？

我正在为我的一个角度单页应用程序设置 A/B 测试。在实验过程中，如果用户清除了cookies，他/她会查看原网站还是不同版本的网站？

简而言之，如果他/她清除 cookie 并刷新页面，用户会看到相同的体验吗？

我有一个不同的页面准备好了，我想在谷歌优化而不是拆分网址中开始 A/B 测试，因为拆分网址加载时间在谷歌优化中很糟糕。是否有一个 A/B 测试脚本可以作为拆分 URL（自动更改页面上的内容）

对于一个项目，我们建立了一个 wordpress 网站。我们使用 Site Kit 将 GA 和 GTM 连接到它，然后我们通过 GTM 安装了谷歌优化。

尽管我们尝试了两种不同的方法将防闪烁片段添加到我们的网站，但我们现在在 A/B 测试中遇到了闪烁。其中一个是使用插件“页眉和页脚”，另一个是在我们wp-site的源代码中直接在头顶添加片段。我们还遵循了优化资源中心中的说明“注意：如果您使用 Google 跟踪代码管理器部署优化工具，请将 CONTAINER_ID 替换为您的跟踪代码管理器容器 ID。”

我们无法弄清楚（我们对这些事情的了解非常有限）出了什么问题。如果有人知道我们做错了什么并且可以提供帮助，那将不胜感激！

我在当前正在进行的实验中看到了一些奇怪的事情。

• 观察到的转化率明显高于原始版本，但 Optimize 的分析是变体更有可能是最好的。我应该相信什么？
• 建模转化率似乎也很遥远，CR 中位数为 1.2%（原始）和 1.3%（变体）。为什么模型会如此超越现实？

感谢您的指导！

我们正在尝试 google 优化我们网站的 A/B 测试。我们发现了在我们的网站上注入脚本的不同方法。我们尝试在头部注入脚本，使用异步，也使用 GTM。每次我们运行重定向实验时，页面都会加载，然后显示一个空白屏幕并再次显示内容。原始页面和重定向页面都会发生这种情况。我们还尝试了防闪烁代码段，但无法解决问题。

我们想使用它，但空白会带来不好的体验，也会影响我们的 E2E 测试。我们尝试了几种可能性，但无法解决白屏问题。我们需要确保解决这个问题吗？

我主要使用观察数据，其中治疗分配不是随机的。过去我用PSM、IPTW来平衡然后计算ATE。我的问题是：现在我正在研究一个治疗分配是随机的问题，这意味着不会产生混淆效应。但治疗组和对照组的规模不同。有一个桶不平衡。

现在我应该按原样分析数据并运行统计显着性和统计功效检验吗？或者我应该使用协变量匹配来平衡治疗和控制之间的大小不平衡，然后运行显着性检验？