我正在寻找一种数学算法来证明多元测试中的重要性。
例如,让我们进行有 3 个标题、2 个图像、2 个按钮测试的网站测试。这导致 3 x 2 x 2 = 12 种变化:
h1-i1-b1, h2-i1-b1, h3-i1-b1,
h1-i2-b1, h2-i2-b1, h3-i2-b1,
h1-i1-b2, h2-i1-b2, h3-i1-b2,
h1-i2-b2, h2-i2-b2, h3-i2-b2.
假设是一种变体比其他变体更好。
我想知道哪一种变体是赢家,我需要等待多长时间,我可以确定我在统计上是赢家,或者至少有一个指标,我能确定我是那个变体是赢家。
所以基本上我想得到每个变化的概率,告诉我它是否是赢家。随着测试运行时间的延长,一些变化的概率会下降,获胜者会增加。
你会使用哪种算法?公式是什么?
有没有这方面的库?