ab-testing - 无需实验就推出新产品

Question

如果无法进行实验，如何推出新产品？或者如何调整指标以便进行实验？

此链接中的示例：https ://hbr.org/2018/11/using-experiments-to-launch-new-products

优步想推出 Express Pool，所以他们进行了典型的 A/B 测试并比较指标，但在这种情况下，他们有指标可以在产品推出前后进行比较（每位用户的收入、每位用户的平均行程等）

但是，如果这是一个全新的产品呢？示例：优步试图推出钱包？

如果我没有反事实，我该怎么办？

Answer 1

您并不总是需要提出特定的假设并对其进行验证。有时最好了解和量化新功能如何影响产品的整体健康状况。过去很多时候，当我们向少数用户公开一项新功能时，我们会很快确定一切是否按预期工作，或者是否会产生无法预料的后果。

如果没有正确的工具，这很难做到。提供产品健康状况整体视图的此类工具之一是Statsig。以下是您构建和推出新功能时预期的快速屏幕截图（无需设置正式的 A/B 实验）。

免责声明：我在 Statsig 工作

Answer 2

在推出新产品之前，您可以做很多事情。

1. 您可以对不同的用户组进行调查，询问他们的需求。此调查的范围是确定您可以使用您的产品解决的问题。这是一种非常早期的策略，您可以使用它来确定您的产品是否有可能适合市场。

2. 您可以创建宣传和众筹活动。这些活动的范围是确定市场上是否存在对您的解决方案的潜在需求。你基本上是在构思阶段开始销售，甚至在开始构建任何东西之前。请注意，您不想在这里骗人，您只是想确定市场是否有潜力。

3. 您可以启动产品的 alpha 或 beta 预发布版本。此预发布的范围是邀请少数用户加入您的早期应用程序并获得他们的反馈。根据您在此处获得的反馈，您可以在发布产品之前改进/更改或更新您的产品。

4. 您可以启动 MVP（最小可行产品），然后在现实世界中跟踪 KPI。MVP 可以为您提供足够的信息，以便您知道该去哪里。只需确保您正在跟踪正确的 KPI 祝您好运！