问题标签 [ab-testing]

我正在使用 Google 网站优化器运行 A/B 测试。我正在跟踪几个转化：

1. 进行购买。
2. 在 Facebook 上点赞。
3. 在推特上关注。

第一次转换很容易跟踪。我只是在我的网站上有一个页面，上面写着“感谢您的购买”，并使用该 URL 作为转换 URL。

其他两项让我有点困惑。

让我们仅使用 Facebook 示例，因为我可以从中学到的东西也可以应用于 Twitter 和任何其他社交网络。根据 Facebook [1]，我可以使用以下代码来跟踪喜欢页面的人：

我相信，这将帮助我追踪“社交参与”。但是，我需要将其与用户当时碰巧使用的特定 A/B 测试相关联。

现在，Google 还向我展示了如何在 A/B 测试 [2] 中跟踪链接点击作为转化。这看起来会有所帮助：

现在，我使用了这段代码来制作它，它与用户单击“赞”按钮时触发的事件挂钩。首先，在我的 Google Analytics 初始化代码中：

然后在我的页面特定的网站优化器代码上：

所以我的问题是：

我在正确的轨道上吗？我错过了任何步骤吗？我是否也需要在 Google Analytics 中设置目标？帮助？

• [1] http://code.google.com/apis/analytics/docs/tracking/gaTrackingSocial.html
• [2] http://www.google.com/support/websiteoptimizer/bin/answer.py?answer=93181

我正在制作一个 python/django 拆分测试或 a/b 测试库供我自己使用。但是我不知道如何计算我的测试是否具有统计意义。我没有统计学知识，所以我无法理解大多数维基百科文章或有关该主题的网页，因此我正在寻求其他程序员的帮助。

我有一个包含 4 个选项的简单实验，并且我有一些用户使用它的数据。每个用户都在 4 个选项之一中（为了论证，我们可以在控件上调用第一个）。每个用户要么成功要么失败，所以我知道每个选项的转化率。我如何确定我的测试是否具有统计意义，或者它是否只是随机的。

基本上我的输入[ (a_yes, a_total), (b_yes, b_total), (c_yes, c_total), (d_yes, d_total)]是任何东西，或者我是否应该继续让它运行并收集更多数据。

当只有 2 个选项（传统的 a/b 测试）时，我已经看到了一些关于使用某些公式的指南，但我希望这个库能够处理多个选项。是否甚至可以计算具有多个值的统计显着性。

本质上，我正在尝试做一些类似于这个http://mixpanel.com/labs/split-test-calculator但在 python 中的事情。如果有一些 python 库我可以加分，我可以“pip install ...”

对于具有两个以上实验的百分比度量，您应该使用什么显着性检验？

例如，

我们有多确定版本 A 真的优于其他两个？

我对 Play 框架很陌生。我想为我的 Web 解决方案制作一个简单的拆分测试框架，但我不太确定如何创建一个。我已经阅读了几乎所有的文档，但没有看到任何特别相关的内容。

我对拆分测试的想法显然是让用户点击各种不同的页面，然后统计用户如何在每个页面上进行交互。

我不需要深入的答案，主要只是关于如何使用 Play 完成的指针和想法。

谢谢阅读。

我有一个网页，向用户展示了一组产品，他们通过选择他们喜欢的产品来表达对产品的兴趣。

我正在运行 AB 实验来测试此页面的两个版本，每个版本显示一组不同的产品。我在这个实验中测试的指标是用户选择的产品数量。

我在 AB 测试中找到的所有资源都假设了一个“试验和转换”模型，其中有 X 次试验，并且从这些试验中，发生了 Y 次转换。在此模型中，Y <= X。

就我而言，在某些情况下，我在该页面上选择了 X = # 个页面的展示次数和 Y = # 个产品，其中 Y > X。在这种情况下，如何确定哪个版本的性能更好？

我在一家网络公司工作，我们将在其中一个主要网页上进行 A/B 测试，以测试 2 种不同的设计。A/B 将检查 2 种不同的设计方法：不同的图标、颜色、方案等，甚至布局中的细微变化。主要的变化是设计（我将在 CSS 中改变它们）。

假设我知道如何运行 A/B 测试：

我的问题是：如何处理 CSS 文件。

我的主要 CSS 在一个名为：generalStyles.css.

我需要创建一个名为的文件generalStyles_B.css吗？它会是该文件的副本还是该文件的补充，并且只是“运行”我正在更改的 CSS 规则？generalStyles.css

如果我们决定选择 B 选项，复制将使使用 generalStyles_B 变得容易。但是维护代码容易重复似乎是错误的。

谢谢， 阿隆

我们希望为工程师建立一个简单的机制，将实验代码和功能投入到我们的应用程序中，以便为一小部分用户尝试新事物，对不同的应用程序行为进行 A/B 测试，并且通常提供沙盒开发人员可以在不影响主要生产代码的情况下发疯的环境。我们对实验功能 (EF) 的一些要求是：

• 对于熟悉 Rails、JS/Coffee 和我们的应用程序的任何人来说，添加 EF 应该非常简单
• EF 代码应尽可能位于生产代码之外（“在岛上”）。
• EF 代码不应在生产代码中长出有害的触角，即尽可能保持松散耦合。
• 乍一看应该清楚什么是 EF 代码，什么不是。
• EF 代码不必支持 TDD、UX 等完整的组织策略。事实上，快速而肮脏的实验是这样做的目标，我们不希望创造力和热情受到流程和策略的阻碍。只有一个实验被认为是成功的（通过用户测试），我们是否要花精力把它带到所有的政策中。
• EF 功能可以在仪表板站点上打开/关闭，并且可以推广到特定用户。
• 从事生产代码的开发人员不应该以任何方式处理实验性代码——理想情况下是完全分离。如果更新生产代码，实验可能会中断，这比强制生产代码开发人员保持所有实验更新更可取。让实验继续进行取决于实验者。
• 我们的系统建立在 Rails 的服务器上，并有一个丰富的客户端应用程序，用 CoffeeScript 和 Knockout.js 和 Backbone.js 编写。EF 可能涉及 Rails 代码（控制器操作、路由、模型）、视图模板、CoffeeScript 代码（数据绑定、jQuery 模板、模型和视图模型等）、CSS/SCSS，并且该机制应该允许所有这些都被沙箱化。

目前，我们不太关心拆分测试或多变量测试的测量过程，这是使用 Vanity gem 等工具或 KissMetrics 和 MixPanel 等商业解决方案解决的问题。我们更关心如何创建解决分离、合并和维护问题的设置。Rails 有这样的工具吗？

我在铁轨上使用分裂宝石。用法很简单：

some_signin_view_file.erb：

和
some_post_signin_controller_file.rb：

做了一个简单的测试没有问题。但是，我的第二个测试在未完成的列上产生负数，并且仅在第一个实验（标记为控制）上产生。

怎么可能是负面的……？我错过了什么吗？

TIA

给定一个简单的 A / B 测试的结果......

（即 A 4% 和 B 3% 的会话率）

... R 中的 Fisher 测试非常正确地表明没有显着差异

但是 R 中有什么函数可以告诉我需要增加多少样本量才能达到 0.05 的 p 值？

我可以增加 A 值（按它们的比例），直到我达到它，但必须有更好的方法吗？也许 pwr.2p2n.test [1] 在某种程度上可用？

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

是否存在任何支持 mongoid 的 gem a/b 测试？

我见过分裂，但我不知道是否支持 mongoid。

谢谢！