statistics - 产品功能的ab测试

Question

如果 Yelp 想了解评分是否有助于用户选择列表，并且我们使用 CTR 作为成功指标来运行 ab 测试，我们如何知道 CTR 的显着变化仅仅是由于评分而不是其他部分列出喜欢的评论？

在运行 ab 测试之前，我们是否必须进行某种用户细分而不是随机分配用户？

Answer 1

随机化处理除治疗外的所有其他变量。统计显着性检验负责处理和机会之间的选择。只有当您无法进行随机试验时，您才需要控制其他差异化因素。

Answer 2

对于大多数实验，您通常希望信任随机化。随机化是一个公正的过程，它有足够的用户，控制所有可能的混杂因素，包括已知的（例如年龄、性别和 OS）和未知的（例如个性、头发颜色和成熟度），使测试组和对照组之间的比较平衡和公平的。由于两组都同时进行了暴露和测量，因此 A/B 测试还可以校正时间和季节性影响。测试组和对照组之间的统计学显着差异可以直接归因于被测试的变化。我在博客文章中写了更多关于此的内容。

使用自定义用户细分通常保留用于随机化可能会产生不平衡组的罕见情况。这通常很少见，但一个例子是，如果你将一个 100 人的房间分成两组，但比尔·盖茨和埃隆·马斯克在这个房间里。根据您要衡量的指标，它们可能会严重搞砸事情。随机化将有一半的时间将两位亿万富翁留在同一组中。在这种情况下，值得进行自定义细分并强制它们最终归入不同的组。但这类事情通常很少见，很少会影响 CTR 等二进制指标。