问题标签 [abtest]

我有一个搜索结果页面，用户可以通过下拉控件选择不同类型的排序。我需要测试其中一个排序选项的变体，比如说相关性（变体 B 背后有不同的相关性定义算法）。

诀窍是记住用户选择的排序选项，并且下次用户访问搜索结果页面时 - 他的默认排序选项等于他最后选择的选项。例如，假设某个用户前一段时间选择了价格作为排序选项（从最低到最高），这意味着他将永远不会再获得按相关性排序的结果，直到他明确选择“相关性”排序选项。

问题是 - 如果仍然可以按原样测试页面的变体，或者我需要设置/限制 A/B 测试仅用于用户选择“相关性”作为排序选项的情况，以这种方式进行比较仅通过此特定选项的变体进行用户转换？

谢谢你的任何提示。

I want to use cookie to indicate which backend server to perform the request. here is my configuration:

I have set cookie backend:eexxpptt. But I got a weird URL http://backend_prod when I visit http://localhost:8888 in chrome. And do not reach the 8080 or 9090 server.

Any advice?

您是否知道计算每个变体的 ab 测试样本量的公式：

1. 基线转化率
2. 最小可检测效果
3. 统计学意义
4. 统计能力

这是一些计算样本量的在线工具：

• https://www.optimizely.com/resources/sample-size-calculator

• http://www.evanmiller.org/ab-testing/sample-size.html

我正在使用 JavaScript 在我的网站上运行一些 AB 测试。我可以更改<button>'s中的文本，element.innerHTML = "Text that I want"但使用相同的策略我无法更改<input type="submit">'s 中的文本。

相反，我可以使用 更改提交按钮的值element.value = "Text that I want"，但不能<button>以这种方式更改 a 的文本。

所以我的问题是，我怎么知道需要在特定元素上使用哪个函数，以便我可以创建一个处理每种类型元素的算法？

简而言之：我怎么知道是使用element.innerHTML还是以element.value编程方式？

注意：不允许使用 jQuery。

示例 - 这是一些将类名作为输入并更改整个页面的元素的代码。有时 a可能具有标识类，但有时<input>它可能是 a<div>或。<button><p>

当系统通过表单中的 URL 中的给定关键字提供动态站点时，如何为所有动态站点创建变体站点：

domain.com/-jobs 。

我想要原始网址：domain.com/-jobs

和变体 URL：domain.com/-jobs?test=1

对于 test=1，我将显示不同的布局。

谢谢尼克

我有 10,000 个过期的客户电子邮件地址。我想向他们发送一封带有折扣的电子邮件，以重新加入他们的会员资格。

我想进行 A/B 测试以提高转化率。

我找到了计算统计显着性的工具，例如 https://vwo.com/ab-split-test-significance-calculator/

这将电子邮件数量作为变量。

提前设置测试时，如何知道每次测试要发送多少封电子邮件？

我可以运行的测试数量是有限的（最多 10,000 个）——所以我不能让所有测试运行很长时间——当它完成时，它基本上就完成了。我需要最大化转换。

假设我们对每个 100 个用户进行 10 次测试（作为 2,000 个用户的拆分测试）。

如果我进行了一项 A/B 测试并且一项转化率更高，但在统计上并不显着 - 我可以只采用更大的转化项目，假设它至少一样好并继续前进吗？

我读过 - 不记得在哪里 - 你应该在每次测试之前设置测试持续时间。因此，如果我修复了 100 封电子邮件——而且统计上并不显着——我会忽略它吗？选择更好的转换项目有什么害处？（大概如果在 100 项之后它在统计上没有显着意义，那也没什么大不了的）？

谢谢

我想知道是否有任何支持 Appcelerator Titanium 的相当好的 A/B 测试平台？到目前为止，我还没有幸运地找到一个。

我有一个 Rails 4.2 应用程序，它使用rails_admin来管理其模型的 CRUD 操作。它需要 current_user.admin？== true 用于访问。

我刚刚使用Split gem添加了 A/B 测试。我想使用相同的授权来仅允许管理员查看拆分仪表板，并认为最简单的方法可能是在管理面板中创建路由，以便仪表板在 example.com/admin/split 上可用。

我可以将Split::Dashboard 安装在'admin/split'，但这完全绕过了管理员授权。

相反，我想添加一个带有 rails_admin 仪表板的按钮/链接，该仪表板重定向到 admin/split，仪表板安装在 rails_admin 中。

帮助表示赞赏。

以下等式提供了“比例检验”中使用的检验统计量。

对于提议的 a/b 测试，我试图显示治疗组 (p2) 所需的最小值，以在 95% 的置信水平上显示统计显着性。换句话说，我正在尝试为 p2 求解这个方程。鉴于我知道我的总人口规模、将被处理的百分比和 Z 值，这似乎很简单。但是，我被困在代数上。

我编写了一个 R 脚本，它将遍历 p2 的一系列值，直到满足给定置信度的 p 值，但这是解决问题的一种草率方式。

如果我们想决定这样一个测试的样本量，我们应该使用什么 R 函数：

10 个广告，我们想通过测试来确定哪些广告的点击率最高。我们能够计算流量和点击次数。