math - 超过 2 次拆分的拆分检验的显着性检验

Question

对于具有两个以上实验的百分比度量，您应该使用什么显着性检验？

例如，

Version | Clicks | Impressions
A       | 5      | 1,763
B       | 4      | 1,672
C       | 2      | 1,689

我们有多确定版本 A 真的优于其他两个？

Answer 1

过去，我个人在顶部和底部之间进行了成对 G 检验，将置信度乘以 n 选择 2 的软糖因子，以解释有 n 选择 2 个可能的对可能是最极端的事实. 从理论上讲，这过于保守，但它对我有用。

有关更多信息，请参阅http://elem.com/~btilly/effective-ab-testing/。