问题标签 [abtest]

我正在尝试对不同的 A/B 测试进行一些统计分析，以查看哪种替代方案更好，并发现了与此相关的相互矛盾的信息。

首先，我对几件不同的事情感兴趣：

• 通过计数事件（例如转换或发送的电子邮件）来衡量成功的测试
• 通过计算收入来衡量成功的测试
• 只有两种选择的测试（控制和新）
• 具有多个备选方案的测试（对照和多个新的）

我希望找到一组简单的公式或规则来进行这种分析，但发现的问题多于答案。

该网站说您无法比较多种替代测试；您只能进行成对比较并进行卡方分析，以查看整个测试是否具有统计显着性。

该网站建议一种进行 A/B/C/D 测试的方法（从幻灯片 74 开始），使用 G-Test 分析结果（据说与卡方有关），但不清楚使用软糖因子。它还建议您只能使用 A/B/C/D 方法来消除替代方案，直到最终在 A/B 比较中获得明显的赢家。

该站点提供了 A/B/C/D 测试（包括控制）的示例，并展示了如何比较转化率以确​​定获胜者。与这种方法不同，它不建议消除替代方案，而是立即选择获胜者（假设具有统计显着性的结果）。

也许我很天真，但我认为现在应该有一个统计分析库来解决这个问题。我还将感谢有关解决这些问题需要哪些算法/方程式的更多信息。我的大学统计课已经有很长时间了。

我开始为 Grails Web 应用程序中的 A/B 测试编写一些代码。我想确保来自同一个 IP 地址的请求总是看到相同的变化。与其存储 IP->variant 的映射，不如通过删除点简单地将 IP 地址转换为整数，然后将其用作随机数生成器的种子？以下发生在 Grails 过滤器中：

我知道通过 IP 地址识别用户是不可靠的，我也将使用会话变量/cookie，但这对于我们有一个新会话并且没有设置 cookie（或用户有 cookie）的情况似乎很有用禁用）。

假设我有一个简单的电子商务网站，销售 100 种不同的 T 恤设计。我想做一些 a/b 测试来优化我的销售。假设我想测试两个不同的“购买”按钮。通常，我会使用 AB 测试来随机分配每个访问者查看按钮 A 或按钮 B（并尝试通过将该分配存储在会话、cookie 等中来确保用户体验是一致的）。

是否有可能采用不同的方法，而是随机分配我的 100 个设计中的每一个使用按钮 A 或 B，并将转化率测量为（设计 n 的销售数量）/（设计 n 的页面浏览量）

这种方法似乎有一些优势；我不必担心保持用户体验一致 - 给定页面（例如 www.example.com/viewdesign?id=6）将始终返回相同的 html。如果我要测试不同的价格，用户看到不同设计的不同价格要比在不同计算机上看到相同设计的不同价格要少得多。我还想知道它是否对 SEO 更好——我怀疑谷歌会“更喜欢”它在抓取页面时总是看到相同的 html。

显然，这种方法只适用于有限数量的站点；我只是想知道是否有人尝试过？

在 App 引擎上运行的 A/B 测试系统的最简单实现是什么？

我特别热衷于将 Datastore 用于后端（具有较长的查询时间）和数据库设计的性能影响。

我目前有一个指向 /public_html/ 的 mysite.com (A) 和一个我为此创建了 /dev_html/ 的 dev.mysite.com (B)。我克隆了该站点，但现在我需要一种在它们之间切换的方法，而不必将所有文件从一个目录复制到另一个目录，也无需关闭站点。我只是想把直播站点切换到B然后在A上工作，当我完成后，将直播站点切换到A并在B上工作。有没有简单的方法？我正在使用 cPanel X 和 cPanel 11 (WHM VPS)。此外，两者都可以与同一个数据库进行交互，所以这不是问题，因为我没有更改任何数据库结构。只有 php/js/img 文件需要切换。

我们公司目前采用的方法是拥有一个我们都在开发的长期发布分支，开发人员将任何非 ab 测试代码签入到分支和主干中，而 ab 测试代码只签入分支。然后，一旦我们发布，获胜的测试单元将被合并到主干中，而大多数 ab 测试代码被丢弃。这已经为我们工作了一段时间，但我们正在开始一个新项目，我想知道我们是否能够通过这个新项目改进我们的工作流程。让每个人都检查分支和主干是一件痛苦的事情。理想情况下，我们会采用更标准的方法来针对主干进行开发并进行分支以实现稳定性，但这意味着用 ab 测试代码污染我们的主干。

在 Rails 3 中是否有类似 ABingo 或 Vanity 的东西？我知道有谷歌网站优化器和视觉网站优化器，但我需要更多的权力来确定显示的内容，以及反过来跟踪的内容，而不是他们可以提供的。如果没有，我什至会考虑一些相对简单的框架，以便我可以轻松地将它们转换为符合 Rails 3 标准。

我对 Play 框架很陌生。我想为我的 Web 解决方案制作一个简单的拆分测试框架，但我不太确定如何创建一个。我已经阅读了几乎所有的文档，但没有看到任何特别相关的内容。

我对拆分测试的想法显然是让用户点击各种不同的页面，然后统计用户如何在每个页面上进行交互。

我不需要深入的答案，主要只是关于如何使用 Play 完成的指针和想法。

谢谢阅读。

我们计划在我们的网站上测试 27 个按钮，以了解哪个按钮的转化率最高。我不确定这太多的变化是否会给我们准确的结果。有谁知道产生准确结果的理想变化数量是多少？

我正在尝试在 Google-play 的开发者控制台中创建多个产品，这些产品将与最终用户（但不同的 sku）具有相同的名称/描述，以便在我的 Android 应用程序中进行购买。

目标是用不同的价格点进行 A/B 风格的测试，这样我就可以调整产品的定价......

前任。

我的用户被分成不同的测试组，每组看到不同的产品（所以每组只看到“我的酷产品”，但根据他们的组，价格不同）。

谷歌的 IAB 显示“英语（美国）的标题 (en_US) 已被 'pa' 使用”。

由于 A/B 测试是运行网站的主要支柱，是否有人可以解决问题以进行适当的 A/B 测试？