0

我有 10,000 个过期的客户电子邮件地址。我想向他们发送一封带有折扣的电子邮件，以重新加入他们的会员资格。

我想进行 A/B 测试以提高转化率。

我找到了计算统计显着性的工具，例如 https://vwo.com/ab-split-test-significance-calculator/

这将电子邮件数量作为变量。

提前设置测试时，如何知道每次测试要发送多少封电子邮件？

我可以运行的测试数量是有限的（最多 10,000 个）——所以我不能让所有测试运行很长时间——当它完成时，它基本上就完成了。我需要最大化转换。

假设我们对每个 100 个用户进行 10 次测试（作为 2,000 个用户的拆分测试）。

如果我进行了一项 A/B 测试并且一项转化率更高，但在统计上并不显着 - 我可以只采用更大的转化项目，假设它至少一样好并继续前进吗？

我读过 - 不记得在哪里 - 你应该在每次测试之前设置测试持续时间。因此，如果我修复了 100 封电子邮件——而且统计上并不显着——我会忽略它吗？选择更好的转换项目有什么害处？（大概如果在 100 项之后它在统计上没有显着意义，那也没什么大不了的）？

谢谢

4

2 回答 2

2

关于显着性要理解的是，它是样本大小和差异的函数。差异越大，偶然性造成的可能性就越小。除了玩显着性（alpha）和强度（beta）并查看您的数据集支持哪些概率之外，我不熟悉定性方法。最终，是否以 70% 的 alpha 进行测试由您决定。（对于 emial 来说可能还可以。）

于 2016-01-12T19:01:07.350 回答
1

[遇到评论的大小限制]

300 听起来是一个合理的数字。看这里：这模拟了一个带有对照（黑色）和两个变体（红色和绿色）的实验我运行了这个模拟，以获得 95% 的显着性和 90% 的强度。实线是测试统计的累积率（在这种情况下转换到下一页的速度），密集的虚线是样本大小，而稀疏的虚线是样本的大小，可以观察到这样的差异随着时间的推移，意义重大。如您所见，在开始时，控制和变量测量之间的差异由于样本量小而变化，因此，显着样本量也不同。然而，随着测量值开始稳定，显着的样本量也开始稳定。在某些时候，重要的样本量会超过实际样本量并保持在以下。这就是您可以安全地调用所选重要性和强度级别的测试的点。红色变体显示出与对照相比更大的降解（从 0.1 到 ~0.06，即 ~40% 下降），因此其样本量在不到 250 次试验中达到显着性（红色虚线交叉处的红点）。绿色变体显示了一半的下降，需要更大的样本量，约为 1100（绿色虚线交叉处的绿点）。希望这可以帮助！绿色变体显示了一半的下降，需要更大的样本量，约为 1100（绿色虚线交叉处的绿点）。希望这可以帮助！绿色变体显示了一半的下降，需要更大的样本量，约为 1100（绿色虚线交叉处的绿点）。希望这可以帮助！

于 2016-01-13T20:00:02.787 回答