我正在制作一个 python/django 拆分测试或 a/b 测试库供我自己使用。但是我不知道如何计算我的测试是否具有统计意义。我没有统计学知识，所以我无法理解大多数维基百科文章或有关该主题的网页，因此我正在寻求其他程序员的帮助。
我有一个包含 4 个选项的简单实验，并且我有一些用户使用它的数据。每个用户都在 4 个选项之一中（为了论证，我们可以在控件上调用第一个）。每个用户要么成功要么失败，所以我知道每个选项的转化率。我如何确定我的测试是否具有统计意义，或者它是否只是随机的。
基本上我的输入[ (a_yes, a_total), (b_yes, b_total), (c_yes, c_total), (d_yes, d_total)]是任何东西，或者我是否应该继续让它运行并收集更多数据。
当只有 2 个选项（传统的 a/b 测试）时，我已经看到了一些关于使用某些公式的指南，但我希望这个库能够处理多个选项。是否甚至可以计算具有多个值的统计显着性。
本质上，我正在尝试做一些类似于这个http://mixpanel.com/labs/split-test-calculator但在 python 中的事情。如果有一些 python 库我可以加分，我可以“pip install ...”