1

我正在使用power.prop.testR 中的函数。

我正在进行 A/B 测试，我正在确定每个组的最小展示次数的提升，以使 A/B 测试显着。

当我运行如下函数时，我得到第二个比例 (p2) 为 0.0001870215，n 为每组 2,571,429：

original_conversion_rate<-0.00009

power.prop.test(n=2571429,
  p1=original_conversion_rate, 
            power=0.8, 
            sig.level=0.05)

我的回答是这样的：

     Two-sample comparison of proportions power calculation 

          n = 2571429
         p1 = 9e-05
         p2 = 0.0001870215
  sig.level = 0.05
      power = 0.8
alternative = two.sided

NOTE: n is number in *each* group

当我用我对 p2 (0.0001870215) 的答案重新运行它来求解 n 时，会出现一个不同的 n (230,952.6)：

original_conversion_rate<-0.00009

power.prop.test(
  p1=original_conversion_rate, 
  p2=0.0001870215,
            power=0.8, 
            sig.level=0.05)

我的 n 更改为：

 Two-sample comparison of proportions power calculation 

          n = 230952.6
         p1 = 9e-05
         p2 = 0.0001870215
  sig.level = 0.05
      power = 0.8
alternative = two.sided

为什么在这种情况下 n 会改变？

4

1 回答 1

1

您的频率是如此之小，以至于微小的变化都会产生巨大的影响——尤其是在power.prop.test.

如果你再进行一次迭代，你会得到

power.prop.test(n=230952.5,
  p1=original_conversion_rate, 
            power=0.8, 
            sig.level=0.05)

     Two-sample comparison of proportions power calculation 

              n = 230952.5
             p1 = 9e-05
             p2 = 0.0001870215
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

NOTE: n is number in *each* group

这与以前的值相同p2。现在，如果我们回到您的第一个计算并降低我们得到的容差

power.prop.test(n=2571429,
  p1=original_conversion_rate, 
            power=0.8, 
            sig.level=0.05, tol=.Machine$double.eps^.8) 

     Two-sample comparison of proportions power calculation 

              n = 2571429
             p1 = 9e-05
             p2 = 0.0001150142
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

NOTE: n is number in *each* group

你可以看到p2改变了。如果我们插入更新的值p2并求解n我们得到

power.prop.test(
  p1=original_conversion_rate, 
  p2=0.0001150142,
            power=0.8, 
            sig.level=0.05)

     Two-sample comparison of proportions power calculation 

              n = 2571429
             p1 = 9e-05
             p2 = 0.0001150142
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

NOTE: n is number in *each* group

你得到同样的结果n。

于 2018-02-21T18:21:09.860 回答