我正在尝试进行 AB 测试 - 比较网站变体之间的收入。
我们的标准方法(使用 t 检验)似乎行不通,因为无法对收入进行二项式建模。但是,我阅读了有关引导的信息并提出了以下代码:
import numpy as np
import scipy.stats as stats
import random
def resampler(original_array, number_of_samples):
sample_array = np.zeros(number_of_samples)
choice = random.choice
for i in range(number_of_samples):
sample_array[i] = sum([choice(original_array) for _ in range(len(original_array))])
y = stats.normaltest(sample_array)
if y[1] > 0.001:
print y
new_y = resampler(original_array, number_of_samples * 2)
y = new_y
return sample_array
基本上,从“收入向量”(人口稀少的向量 - 所有非转换访问者的零)中随机抽样,并对结果向量求和,直到得到正态分布。
我可以为两个测试组执行此操作,此时我有两个正态分布的量用于 t 检验。使用scipy.stats.ttest_ind
我能够得到看起来有些合理的结果。
但是,我想知道运行此过程对 cookie 拆分的影响是什么(预计每个组会看到 50% 的 cookie)。在这里,我看到了一些相当出乎意料的东西——给出以下代码:
x = [272898,389076,61091,65251,10060,1468815,216014,25863,42421,476379,73761]
y = [274253,387941,61333,65020,10056,1466908,214679,25682,42873,474692,73837]
print stats.ttest_ind(x,y)
我得到输出:(0.0021911476165975929,0.99827342714956546)
一点都不重要(我想我的解释正确吗?)
但是,当我运行此代码时:
for i in range(1000, 100000, 5000):
one_array = resampler(x,i)
two_array = resampler(y,i)
t_value, p_value = stats.ttest_ind(one_array, two_array)
t_value_array.append(t_value)
p_value_array.append(p_value)
print np.mean(t_value_array)
print np.mean(p_value_array)
我得到:0.642213492773 0.490587258892
我不太确定如何解释这些数字——据我所知,我已经从实际的 cookie 拆分中反复生成正态分布(数组中的每个数字代表一个不同的站点)。在每种情况下,我对两个分布都使用了 t 检验并得到了 t 统计量和 p 值。
这是合法的做法吗?我只多次运行这些测试,因为我在不这样做时看到 p 值和 t 统计量的变化很大。
我错过了运行这种测试的明显方法吗?
干杯,
马特
ps
我们拥有的数据: 网站 1:测试组 1:唯一 cookie:收入 网站 1:测试组 2:唯一 cookie:收入 网站 2:测试组 1:唯一 cookie:收入 网站 2:测试组 2:唯一 cookie:收入等
我们想要什么:
测试组 x 以 z% 的确定性击败测试组 y
(测试组 1 的零假设 = 测试组 2)
奖金:
与上述相同,但在每个站点以及整体基础上