问题标签 [abtest]

我想将我的用户分成几个组来运行 A/B 测试。

通常的方法是将每个用户随机分配到一个变体并存储关系直到 A/B 测试结束。但这将迫使我将该关联存储在某个地方，我想避免它。

由于用户已经在我的应用程序中注册，我希望有一个功能可以在我的测试中均匀地分布用户，这样我就可以在我的 A/B 测试中获得不偏斜的结果。

我应该使用哪种哈希函数？

假设我有一个带有YES和NO按钮的网站。现在，我记录了两天YES的点击次数和点击次数。NO

有了这些数据后，我想A/B-test对这些数据进行分析。所以，我将数据分成 50-50 份。使用一个作为控制数据，一个作为测试数据。对于测试数据，我计算 10 小时内（而不是两天）内点击是和否的次数。

你认为这是一个好方法A/B-test吗？据我所知，我需要两个功能略有不同的网站版本，而在我的情况下，所有用户的网站都是相同的，我只在假设的情况下拆分原始数据。如果不正确，请参考我的文章或网站。

我在尝试对 Umbraco 的节点树中的某些节点进行 A/B 测试时遇到问题。我想要做的是将节点树中的一个节点复制到一个特定的位置，并使用该 B 结构来查看哪种结构效果最好，使用谷歌分析。

例如我们有两个节点结构，我们称它们为“Private”和“Sweden”。它们与子节点的结构和属性完全相同。它们之间的唯一区别是属性值（内容）。“私人”-URL 是 www.mysite.com/Private，“瑞典”-URL 是 www.mysite.com/Sweden。

我想做的是更改B 结构上的每个链接，使其指向 A 结构上的匹配项。问题在于，由于它是两种不同的结构，它将有两个不同的替代链接。

换句话说，它进入B结构应该是一个巧合，然后在下一次点击时被移回A结构。

我们使用脚本管理它应该加载的页面（A 节点或 B 节点），以便每个节点都有 50% 的机会，如果它登陆 B 节点，谷歌分析将保存数据。我们无法管理的是该页面上的每个链接都将指向 A 节点。

我会很感激我能得到的任何帮助。

问候，大卫

stackoverflow 上有类似的问题，但不完全是我的。

所以我有一个数字序列（从 1 到 ~5,000,000）（称这个数字为 N）。我想将每个数字映射到 [0, 99] 中的数字。一种解决方案是将 N 除以 100 的提醒值。一切都很好。我再次想再次执行此操作，并查看此 N 映射到 [0, 99] 中的哪个数字。唯一的要求是 N 第一次映射到 [0, 99] （比如 34）的数字的信息不应该决定它第二次映射到的数字。

所以我想第一次这样做 (SHA(N + 1) % 100) 和第二次 (SHA(N + 2) % 100) 等等..

能保证工作吗？还是我错过了什么？

简单地说：从 [0, 99] 中取任意两个任意数 x1, x2。计算 [0, 5000000] 中的所有数字，第一次映射到 x1，第二次映射到 x2。对于 x1，x2 的任何选择，这个计数是否相同（或多或少）？

我有很多这样的产品页面：

每个目录和产品（项目）都有自己的数字 ID。

产品页面类似。只是不同的产品图片、价格、标题。

我尝试使用正则表达式在 Analytics Experiments 中设置原始 url 模式：

有没有办法设置原始网址模式？

我在谷歌和互联网上查看了如何执行In Page A/B 测试。

我要做的是在单个页面上执行 A/B 测试，但该页面的内容因引用 url而异，通过<?php include

假设您来自 Google，它会显示“嘿，您是新来的吗？！”，或者如果您来自我们网站上的另一个页面，它会显示“让我们开始吧”。然后目标是查看哪个页面的访问持续时间更长。

有谁知道如何通过谷歌分析/优化或任何其他分析插件来做到这一点？

我们正在构建一个新的网站设计，而不是 100% 地切入它，我们想轻松地进行它，以便我们可以随时进行测试。目标是让访问http://oursite.com的用户获得“旧”网站或新网站，我们可以将获得新网站的用户百分比控制为 10%、50% 等。

我熟悉页面的 A/B 测试，但不熟悉整个网站域。我们在 LAMP 堆栈上，所以也许这可以用 Apache VHosts 来完成？我们有 2 个云服务器在生产中的云负载均衡器后面运行。新站点完全包含在 svn 分支中，当前生产站点用完了 svn 主干。

关于如何解决这个问题的任何建议？

谢谢！

我正在尝试进行 AB 测试 - 比较网站变体之间的收入。

我们的标准方法（使用 t 检验）似乎行不通，因为无法对收入进行二项式建模。但是，我阅读了有关引导的信息并提出了以下代码：

基本上，从“收入向量”（人口稀少的向量 - 所有非转换访问者的零）中随机抽样，并对结果向量求和，直到得到正态分布。

我可以为两个测试组执行此操作，此时我有两个正态分布的量用于 t 检验。使用scipy.stats.ttest_ind我能够得到看起来有些合理的结果。

但是，我想知道运行此过程对 cookie 拆分的影响是什么（预计每个组会看到 50% 的 cookie）。在这里，我看到了一些相当出乎意料的东西——给出以下代码：

我得到输出：（0.0021911476165975929，0.99827342714956546）

一点都不重要（我想我的解释正确吗？）

但是，当我运行此代码时：

我得到：0.642213492773 0.490587258892

我不太确定如何解释这些数字——据我所知，我已经从实际的 cookie 拆分中反复生成正态分布（数组中的每个数字代表一个不同的站点）。在每种情况下，我对两个分布都使用了 t 检验并得到了 t 统计量和 p 值。

这是合法的做法吗？我只多次运行这些测试，因为我在不这样做时看到 p 值和 t 统计量的变化很大。

我错过了运行这种测试的明显方法吗？

干杯，

马特

ps

我们拥有的数据： 网站 1：测试组 1：唯一 cookie：收入 网站 1：测试组 2：唯一 cookie：收入 网站 2：测试组 1：唯一 cookie：收入 网站 2：测试组 2：唯一 cookie：收入等

我们想要什么：

测试组 x 以 z% 的确定性击败测试组 y

（测试组 1 的零假设 = 测试组 2）

奖金：

与上述相同，但在每个站点以及整体基础上

我正在讨论在未产生显着结果的 A/B 测试之后运行后续测试。因此，我们测试了具有水平布局的现有控制页面 (C) 与具有列布局的新变体 (V1)。执行两个月后，变体 V1 的收入比对照页 C 高 2%，但击败原创的机会只有 58%。所以我们决定停止测试，因为它似乎不太可能得到显着的结果。

现在我们要修改变量并开始另一个测试。我的想法是创建一个新的变体 (V2) 并针对旧的控制页面 (C) 进行测试：C 与 V2。

但我的同事宁愿测试性能更好的 V1 变体与另一个变体：V2 与 V1。

处理这个问题的正确方法是什么？我们应该测试 C 与 V2 还是 V2 与 V1？

因此，我的应用程序在本地服务器上运行，我正在尝试使用Visual Website Optimizer对该功能进行 a/b 测试。

我将服务器地址（公开不可用）放在预览 URL 中，但是当我打开预览页面时，它会发出警告说“错误：无法设置 Cookie。”。启用 Cookie。

我的问题是，预览页面（或默认广告系列网址）是否应该可以公开访问以使 VWO 正常工作？