问题标签 [ab-testing]

我正在做 A/B 测试，我在我的结果中面临辛普森悖论（天 vs 月 vs 测试的总持续时间）。

1. 这是否意味着我的 a/b 测试不正确/不具有代表性？（一些外部因素影响了测试？）
2. 如果这是问题的征兆，应遵循哪些指示？

感谢您的大力帮助。

进一步阅读：http ://en.wikipedia.org/wiki/Simpson%27s_paradox

我们有一个提供 A/B 拆分测试的框架。

您有一个页面的“冠军”版本，并且您开发了它的“挑战者”版本。

然后你运行网站，给你的一些用户分配冠军和挑战者，并衡量他们的不同反应。

如果挑战者在实现您的指标方面比冠军更好，那么您就可以废黜冠军并培养新的挑战者......

我的问题是我应该考虑哪些机制来分配版本？

一些选项浮现在脑海中：

• 奇数或偶数 IP 地址（或子网段）****.****.****.123获得冠军，但.124获得挑战者
• cookie push - 检查冠军/挑战者 cookie，如果不存在随机分配用户到一个并推送 cookie

最佳实践？建议？注释？经验？

我正在尝试进行 A/B 测试，为此我正在使用 Nginx。我的 Nginx 配置文件如下所示：

这是一种工作，但 css 和 js 文件不会加载。谁能告诉我这个配置文件有什么问题或者正确的方法是什么？

谢谢，

亚历克斯

我即将使用 Google 的网站优化器在我的网站主页上进行 a/b 测试。我的问题是：哪些替代页面将谷歌的蜘蛛索引？他们都是？我在谷歌或 GWO 页面上找不到任何关于此的信息。

我想创建一种方法来测试页面上的不同布局，以查看哪些获得更多转化。

例如。如果我有一个页面的 2 个版本，我将 50% 发送到页面 A，将 50% 发送到页面 B，然后查看哪个版本的销售额更高。

所以我想也许可以使用 .htaccess 将一半重写到 A 页，另一半重写到 B 页。

但是我怎么能用 .htaccess 做到这一点有没有办法？我需要使用 PHP 来代替吗？

另外，如果有更好的方法可以做到这一点，或者我应该注意的任何警告，请告诉我。

我已经在Google Web Optimizer中运行了六周的 A/B 测试，但仍然看不到尽头。谷歌仍在说：“我们还没有收集到足够的数据来显示任何显着的结果。当我们收集更多的数据时，我们应该能够向你展示一个成功的组合。”

有什么方法可以说明谷歌离下定决心有多近？（有谁知道它使用什么算法来决定是否有任何“高置信度赢家”？）

根据谷歌帮助文档：

有时我们只需要更多的数据就能达到高置信度。一个经过测试的组合通常需要大约 200 次转换，我们才能确定地判断其性能。

但目前我们所有的转换都有超过 200 次对话：

230 / 4061（原始）
223 / 3937（变体 1）
205 / 3984（变体 2）
205 / 4007（变体 3）

还要跑多久？？

谢谢你的帮助。

Rails 有几个 A/B 拆分测试模块/插件。
http://github.com/paulmars/seven_minute_abs
http://www.bingocardcreator.com/abingo
http://vanity.labnotes.org/
等。

Python有类似的东西吗？

我之前曾问过获胜组合需要多长时间才能出现在Google 的 Web Optimizer上，但现在我在 A/B 测试中遇到了另一个奇怪的问题：

在过去的两天里，谷歌宣布有一个“高信心赢家”，它有98.5%的机会以27.4%的优势击败原始版本。伟大的！

我决定让它运行以确保绝对确定，但发生了一些奇怪的事情：今天谷歌说他们“还没有收集到足够的数据来显示任何重要的结果”（如下所示）。当然，数字略有变化，但仍然非常高：96.6%的几率比原版高出22%。

那么，为什么谷歌现在不太确定呢？

它是如何从具有统计意义的“高信心”获胜者转变为没有足够的数据来计算的呢？我的数字太小，谷歌无法确定还是什么？

感谢您的任何见解！

我即将开始一个新项目的工作，并认为现在也是开始研究新的 PHP CMS 的好时机。我真的只花了很多时间在 Joomla 上，所以“新”几乎可以是“任何”。

无论如何，我也看到了很多关于 A/B 测试的讨论，并认为尝试一下可能是个好主意。据我所知，Rails 有几个解决方案，但我想知道是否有支持 PHP CMS 的解决方案？越集成越好。

感谢您的任何建议或想法...

使用 Google 网站优化工具 A/B 拆分测试时，有没有办法可以读取 cookie 以查看用户获得了哪个版本 A 或 B？我需要从控制页面以外的页面了解这一点。