-1

我正在寻找一种数学算法来证明多元测试中的重要性。

例如,让我们进行有 3 个标题、2 个图像、2 个按钮测试的网站测试。这导致 3 x 2 x 2 = 12 种变化:

h1-i1-b1, h2-i1-b1, h3-i1-b1,
h1-i2-b1, h2-i2-b1, h3-i2-b1,

h1-i1-b2, h2-i1-b2, h3-i1-b2,
h1-i2-b2, h2-i2-b2, h3-i2-b2.

假设是一种变体比其他变体更好。

我想知道哪一种变体是赢家,我需要等待多长时间,我可以确定我在统计上是赢家,或者至少有一个指标,我能确定我是那个变体是赢家。

所以基本上我想得到每个变化的概率,告诉我它是否是赢家。随着测试运行时间的延长,一些变化的概率会下降,获胜者会增加。

你会使用哪种算法?公式是什么?

有没有这方面的库?

4

1 回答 1

0

您可以使用卡方检验。您的零假设是所有结果的可能性均等;当您为 12 个结果中的每一个插入测量计数时,您会得到一个数字,告诉您获得一组 12 个计数的概率如此极端(即远离均匀分布)。如果概率足够小(通常 < 5% 或 < 1%),您可以断定原假设是错误的。

于 2014-11-28T15:57:37.053 回答