我正在尝试对不同的 A/B 测试进行一些统计分析，以查看哪种替代方案更好，并发现了与此相关的相互矛盾的信息。
首先，我对几件不同的事情感兴趣：
- 通过计数事件（例如转换或发送的电子邮件）来衡量成功的测试
- 通过计算收入来衡量成功的测试
- 只有两种选择的测试（控制和新）
- 具有多个备选方案的测试（对照和多个新的）
我希望找到一组简单的公式或规则来进行这种分析，但发现的问题多于答案。
该网站说您无法比较多种替代测试；您只能进行成对比较并进行卡方分析，以查看整个测试是否具有统计显着性。
该网站建议一种进行 A/B/C/D 测试的方法（从幻灯片 74 开始），使用 G-Test 分析结果（据说与卡方有关），但不清楚使用软糖因子。它还建议您只能使用 A/B/C/D 方法来消除替代方案，直到最终在 A/B 比较中获得明显的赢家。
该站点提供了 A/B/C/D 测试（包括控制）的示例，并展示了如何比较转化率以确定获胜者。与这种方法不同，它不建议消除替代方案，而是立即选择获胜者（假设具有统计显着性的结果）。
也许我很天真，但我认为现在应该有一个统计分析库来解决这个问题。我还将感谢有关解决这些问题需要哪些算法/方程式的更多信息。我的大学统计课已经有很长时间了。