问题标签 [ab-testing]

I've been looking for a good testing framework for months, not finding anything, so I've just been building my own.

This is what I want to do:
- track arbitrary behaviors (e.g. # of photos viewed, # of comments posted)
- track correlation between arbitrary variables and those behaviors
(e.g, how do different versions of this prompt affect average # of photos viewed?)

This kind of thing should be a core part of agile development. What's out there? I know Google Website Optimizer is one of the answers, but you can only track behaviors that end in a single "success" page.

It'd be great to have a plugin that can work within your code (Rails in my case) and feed into a nice hosted service with pretty graphs...

关于 A/B 拆分测试的一些信息：

• http://startuplessonslearned.blogspot.com/2008/09/one-line-split-test-or-how-to-ab-all.html
• http://www.37signals.com/svn/posts/1525-writing-decisions-headline-tests-on-the-highrise-signup-page

我可以在 Rails 应用程序中使用简单的caseorif语句在我的视图中执行此操作，但这会产生很多重复。有宝石支持吗？任何有帮助的设计模式？

我们刚刚开始为基于 Django 的项目进行 A/B 测试。我能否获得有关此 A/B 测试的最佳实践或有用见解的一些信息。

理想情况下，每个新的测试页面都将通过一个参数来区分（就像 Gmail 一样）。mysite.com/?ui=2 应该给出一个不同的页面。因此，对于每个视图，我都需要编写一个装饰器来根据“ui”参数值加载不同的模板。而且我不想在装饰器中硬编码任何模板名称。那么 urls.py url 模式将如何呢？

假设我有一个显示有关餐馆信息的网站。所有的 url 都被命名为 /restaurants/some-dynamic-restaurant-name/ 例如.../restaurants/somename 1 /, /restaurants/somename 2 / etc... 如何使用 GWO 进行 IA/B 测试或多变量测试，一次实验中的所有餐厅页面？

更新：我在谷歌网站优化器论坛中创建了一个问题，这是我得到的答复：http ://www.google.com/support/forum/p/websiteoptimizer/thread?tid=5c6ef8fab27cf719&hl=en&fid=5c6ef8fab27cf719000468877f441f7b

更新：在http://www.google.com/support/websiteoptimizer/bin/answer.py?hl=en&answer=61201之后，我获取了一个示例网址 www.mysite.com/restaurants/dynamic_restaurant_name_here/。我在该页面中有一个显示餐厅名称的 h1 标题。我按照 GWO 规则将其作为一个部分包含在内。我使用 h2、h3 创建了它的变体。所以它应该为同一家餐厅的不同用户显示 h2 标头或 h3 标头。

相反，对于每个其他餐厅页面，它都显示相同（或仅一个）餐厅名称，因为它所知道的只是那个。但是您提供的链接向我保证我可以测试类似的场景（检查 GWO 链接内容的前几行），但这并没有发生。所以对于每个动态餐厅页面，我想检查不同的标题。这可能吗？我该怎么办？

更新：我发布了我自己问题的答案。但是有没有更好的方法呢？

我的老板出于某种原因想尝试在 JavaScript 中实现 A/B 测试（或拆分测试）。任何人都知道任何好的 JavaScript 包/库/解决方案来实现 A/B 测试？

在 asp.net mvc 中实现 AB 测试的最佳和最干净的方法是什么？也就是说，当我们对 asp.net mvc 网站进行新的更改时，我们希望使用特定的访问者子集（在 cookie、登录 ID 等上定义）测试新的 html/css/js，然后分析一些指标（页面响应时间、访问的页面数量、销售额等），然后衡量更改的成功程度。

我正在寻找一种干净的方法来实现一种选择使用 asp.net mvc 呈现的视图（html/css/js 等）的方法。

我正在尝试跨 3 页运行多变量测试，谷歌说这应该没问题，只要您使用相同的部分名称，它就不太关心 url。

所以我检查了谷歌优化器，它说我所有的脚本都设置正确。

另外奇怪的是它确实有效，它替换了内容，但它永远不会保存 cookie，所以当你进入下一页，甚至只是刷新同一页面时，你可能会得到不同的变体。这显然应该不会发生。

我在这里拉我的头发，任何帮助将不胜感激。

来自： http: //www.bingocardcreator.com/abingo/usage

在块中传递的任何“选择”是否必须是某种链接？a/bingo 如何知道何时转换了不同的选择？

我正在尝试对不同的 A/B 测试进行一些统计分析，以查看哪种替代方案更好，并发现了与此相关的相互矛盾的信息。

首先，我对几件不同的事情感兴趣：

• 通过计数事件（例如转换或发送的电子邮件）来衡量成功的测试
• 通过计算收入来衡量成功的测试
• 只有两种选择的测试（控制和新）
• 具有多个备选方案的测试（对照和多个新的）

我希望找到一组简单的公式或规则来进行这种分析，但发现的问题多于答案。

该网站说您无法比较多种替代测试；您只能进行成对比较并进行卡方分析，以查看整个测试是否具有统计显着性。

该网站建议一种进行 A/B/C/D 测试的方法（从幻灯片 74 开始），使用 G-Test 分析结果（据说与卡方有关），但不清楚使用软糖因子。它还建议您只能使用 A/B/C/D 方法来消除替代方案，直到最终在 A/B 比较中获得明显的赢家。

该站点提供了 A/B/C/D 测试（包括控制）的示例，并展示了如何比较转化率以确​​定获胜者。与这种方法不同，它不建议消除替代方案，而是立即选择获胜者（假设具有统计显着性的结果）。

也许我很天真，但我认为现在应该有一个统计分析库来解决这个问题。我还将感谢有关解决这些问题需要哪些算法/方程式的更多信息。我的大学统计课已经有很长时间了。

有没有人使用富客户端（即 WinForms 或 WPF）应用程序进行大量 A/B 测试？

我对在这种情况下有意义的部署策略很感兴趣。

ClickOnce 部署似乎很合适，但是让 ClickOnce 为非平凡的应用程序正常工作有很多包袱。

如果使用 ClickOnce，您如何为 50% 的用户推送更改？这是可能的，还是您只需要基本上部署 2 个单独的应用程序？

如果使用 Windows Installer，为每个测试场景推送一个新的安装程序是否有意义？这对于每次都必须更新应用程序的最终用户来说似乎很麻烦？在客户端 PC 上仅安装一个存根并在可用时动态下载更新是否有重大缺点？