假设我有一个简单的电子商务网站，销售 100 种不同的 T 恤设计。我想做一些 a/b 测试来优化我的销售。假设我想测试两个不同的“购买”按钮。通常，我会使用 AB 测试来随机分配每个访问者查看按钮 A 或按钮 B（并尝试通过将该分配存储在会话、cookie 等中来确保用户体验是一致的）。
是否有可能采用不同的方法，而是随机分配我的 100 个设计中的每一个使用按钮 A 或 B，并将转化率测量为（设计 n 的销售数量）/（设计 n 的页面浏览量）
这种方法似乎有一些优势；我不必担心保持用户体验一致 - 给定页面（例如 www.example.com/viewdesign?id=6）将始终返回相同的 html。如果我要测试不同的价格，用户看到不同设计的不同价格要比在不同计算机上看到相同设计的不同价格要少得多。我还想知道它是否对 SEO 更好——我怀疑谷歌会“更喜欢”它在抓取页面时总是看到相同的 html。
显然，这种方法只适用于有限数量的站点；我只是想知道是否有人尝试过？
你的直觉是正确的。理论上，按页面随机化可以正常工作。两个治疗组在预期中将具有平衡的特征。
但是，样本量非常小，因此您需要小心。简单的随机化可能会偶然造成不平衡。标准解决方案是阻止衬衫的预处理特性。最重要的特征是您的治疗前结果，我假设它是转化率。
有很多方法可以创建“平衡”随机设计。例如，您可以使用最佳匹配创建对，并在对内随机化。通过按前一周/月的转化率对页面进行排名，然后创建邻居对，可以找到更粗略的匹配。或者你可以在 Aaron 的建议中结合阻塞随机化：成对随机化，然后每周翻转治疗。
第二个问题，有点不相关，是治疗之间的相互作用。这可能更有问题。如果用户在一个页面上看到一个按钮，然后在另一个页面上看到另一个按钮，那么这个新按钮可能会产生特别大的效果。也就是说，您真的可以将治疗视为独立的吗？一个页面上的按钮是否会影响另一个页面上的转换可能性？不幸的是，它可能确实如此，特别是因为如果您在一个页面上购买 T 恤，您可能不太可能在另一页上购买 T 恤。比起随机化，我更担心这一点。标准方法——由唯一用户随机化——更好地模仿您的最终设计。
您可以随时进行实验，看看使用这两种方法是否得到相同的结果，如果可以，则继续使用更简单的方法。
你不能。
让 50 件 T 恤带有按钮 A，其余 50 件带有按钮 B。经过测试，您发现带有按钮 A 的 T 恤具有更好的转化率。
现在 - 是因为按钮 A 转换更好，还是因为 T 恤设计真的很酷并且人们喜欢它们？
您无法客观地回答这个问题，因此您无法以这种方式进行 A/B 测试。
您的方法的问题在于您同时测试了两件事。
比如说，设计 x 正在使用按钮 a。设计 y 正在使用按钮 b。设计 y 获得更多销售和更多转化。
是因为按钮 b 比按钮 a 提供了更好的转化率，还是因为设计 y 提供了比设计 x 更好的转化率？
如果您的设计数量非常多，用户数量非常少，并且您的转化在您的设计中均匀分布，我可以看到您的方法比普通时尚更好 - 因为“好”设计聚集在一起的风险并且歪曲您的结果将小于“好”用户所做的风险。但是，在这种情况下，您不会有特别大的转化样本量来得出结论——首先，您需要足够多的用户才能进行 AB 测试。
不要更改某些页面的销售按钮，而是使用按钮 A 运行所有页面一周，然后再更改为按钮 B 一周。这应该为您提供足够的数据来查看两个按钮之间的销售数量是否有显着变化。
一周应该足够短，以至于季节性/天气影响不应该适用。