ab-testing - 确定 A/B 测试的样本量，超过 2 个变体

Question

如果我们想决定这样一个测试的样本量，我们应该使用什么 R 函数：

10 个广告，我们想通过测试来确定哪些广告的点击率最高。我们能够计算流量和点击次数。

Answer 1

我不认为变体体验的数量会有所不同。在每个中，您将一个指标与控制中的相同指标进行比较，因此在每个中您都会有自己的显着样本量：与控制的差异越小，样本量就越大。

近年来争论的焦点是相关的：如何在运行时优化体验之间的流量分配，以便在调用所有变体时，大多数变体已经经历了您的获胜体验。谷歌（实验）为此设计了一种他们称之为 Multi-Arm Bandid 算法的东西，但据我所知，它还没有在同行评审的期刊上发表过，这可能是有原因的。

祝你好运！