问题标签 [abtest]

我在服务器 A 中使用 Vanity。但是对于仪表板，我想在服务器 B 上显示它。

完成的步骤：

1. 在 Gemfile 中添加了 gem 'vanity'
2. 添加 vanity.yml（使用与服务器 A 相同的数据库）
3. 添加了虚荣控制器

但是，当我转到 localhost:3000/vanity 时，我现在看到的只是一个页面，其中只有“由 Vanity 生成”。

我还需要添加实验文件吗？但我尽可能不想将它们复制到服务器 B，因为它已经在服务器 A 中。我只需要在服务器 B 中显示仪表板。

我正在进行 Sitecore A/B 测试，我想测试我的 A 版本，我的产品部分在顶部，而在 B 版本中，我的整个产品部分在底部？

我首先尝试在 Sitecore Jetstream 演示站点中弄清楚（见下图）。我想在我的版本 B 中向上移动整个底部，而版本 A 保持原样。但是，我不能这样做，只能在一个部分中更改组件。

有人可以帮我吗？提前致谢。

我们正在使用 Akamai 进行 A/B 测试，Akamai 是否可以通过一些 cookie 值获取不同的缓存。例如：假设我在 www.example.com 下有 2 个应用程序 App-A 和 App-B，有没有办法在请求有 cookie “to-A=true”时转到 App-A 的缓存，如果cookie 有“to-A=false”？然后去App-B？谢谢！

好的，这个问题诚然来自我不必花钱的兴趣。而且我知道很难“估计”这种事情。但也许有人觉得他们有一个可以提供的自信的大致数字。

我想开始在 Heroku 上托管的 ruby​​ on rails 应用程序中进行 A/B 测试。我有几个 gems/libraries 可供选择来实现 A/B 测试。

Split，似乎功能最全的 gem只使用 Redis 数据存储，而其他使用 SQL 存储，但似乎不那么可靠。我觉得使用 Redis 有点害羞，增加了我的堆栈的复杂性，并且可能每月仅用于 A/B 测试就需要 10 到 50 美元。

Redis Cloud插件在免费层提供 30MB 和 100MB，每月 10 美元。我无法想象我可以从免费层或 100MB 层中获得什么样的用处。

我宁愿不在我的应用程序中实现 A/B 测试（投资于某个 API / 配置设置），却发现我买不起。

因此，以尽可能（过度）最简单的方式来表达我的问题。在 30MB（和/或 100MB）的 Redis 上进行 5-10 次 A/B 测试，我预计可以收集多少个月的数据？

我正在尝试使用 Sitecore 8.1 中的工作流程进行 AB 测试。我已经在 Test the Component Box 中创建了测试变体。这些变体也存储在营销控制面板的测试实验室下。但是，如果我尝试保存项目，这些变体在体验编辑器中不可见，并且我没有收到任何提交或创建测试选项的通知。谁能告诉我可能是什么原因以及如何获得预览并开始测试对话框。这是任何访问/权限相关的问题吗？

实际上，对于我需要的东西，可能存在更好的术语，但我不知道，并且会感谢任何建议和/或适当编辑问题主题的人。

S考虑部署到生产服务器的web api 服务。让我们将其视为真实的工作来源。

然后，例如，我需要更新一些外部依赖项或更改基础设施代码，既不直接影响核心业务逻辑，也不影响服务的公共合约。

因此，我得到S_updated了哪些必须通过暂存阶段，然后才能部署到生产中。由于对代码库所做的更改，我希望此服务可以像以前的版本一样工作，或者由于集成问题而根本不工作。仍然存在以某种方式改变系统行为的风险，但我可以忍受它并期望单元测试成为一个相当好的安全网。实践也证明了这一点。

我真正想要的是能够部署S_updated到生产环境并让一些代理服务将所有或部分（取决于配置）失败的请求分派给前一个S服务。

是否存在一些针对此类功能的通用可配置解决方案？

我试图弄清楚如何为单个页面的页面步骤上的更改运行 A/B 测试。这个想法是我们有一个付款流程，其中包含几个页面步骤，每个步骤都包含一个表单。我们想换掉表格并测试我们的用户的反应。我们试图避免更改 URL。

我研究了诸如 Google Analytics 之类的工具，但这需要不同的 URL 来运行 A/B 测试。关于创建新 URL 的犹豫是因为我们知道我们的用户会为它们添加书签，并且我们不想保留来自无效 URL 的重定向积压，而且我们希望避免不断为我们的测试部署新 URL。

我似乎找不到任何工具来做到这一点，所以我试图想出一些解决方案，但我运气不佳。

我最好的想法是将 a 和 b 表单都构建到页面中，当用户访问流时，会话随机（基于预设百分比）存储一个值，该值指示用户是在测试 a 还是 b。然后，当他们进入该表格时，服务器将为他们提供正确的表格。如果他们放弃他们的会话，我们会跟踪它，如果他们完成了动作，我们会跟踪它。

我觉得应该有一个更好的解决方案，但我就是想不出一个。

我的在线结果要么是展示如何从高层次处理它的博客，而且它们都使用不同的 URL，我发现几乎没有开发人员资源。

谢谢。

我们使用 ExtJS 4.2.2 和 .NET 作为我们的服务器。

我正在开发一个已经工作多年的系统，现在他们决定添加一个推荐引擎。在进行 A/B 测试之后，我们将决定一个模型。现在，有没有办法衡量这个模型的表现如何？

如果 Yelp 想了解评分是否有助于用户选择列表，并且我们使用 CTR 作为成功指标来运行 ab 测试，我们如何知道 CTR 的显着变化仅仅是由于评分而不是其他部分列出喜欢的评论？

在运行 ab 测试之前，我们是否必须进行某种用户细分而不是随机分配用户？

我在这里读到（https://firebase.google.com/docs/remote-config/abtest-config）我可以同时运行多达六个实验。

“要开始实验，请单击开始实验。每个项目一次最多可以运行 6 个实验。”

如果我同时进行多个实验，这些实验不会相互影响吗？