1

我正在尝试使用 Scala 的微风库估计数据集的参数（Dirichlet 分布）。我已经有一个工作 python (pandas/dataframes) 和它的 R 代码，但我很好奇如何在 Scala 中做到这一点。我也是 Scala 的新手。

我似乎无法让它工作。我想在语法上我没有正确的东西。

我尝试使用的代码在这里：https ://github.com/scalanlp/breeze/blob/master/math/src/main/scala/breeze/stats/distributions/Dirichlet.scala#L111

根据上面的代码： ExpFam[T,I] 接受两个参数 T 和 I。我不知道 T 和 I 是什么。T 可以是密集矩阵吗？

我正在做的是：

# Creating a matrix. The values are counts in my case.
val mat = DenseMatrix((1.0, 2.0, 3.0),(4.0, 5.0, 6.0))

# Then try to get sufficient stats and then MLE. I think this where I doing something wrong.
val diri = new ExpFam[DenseMatrix[Double],Int](mat)
println(diri.sufficientStatisticFor(mat))

此外，如果有一个像这样的数据矩阵 DenseMatrix((1.0, 2.0, 3.0),(4.0, 5.0, 6.0)) 如何在 Scala 中估计参数（Dirichlet）。

4

2 回答 2

2

我对微风的这方面不是很熟悉，但这对我有用：

val data = Seq(
  DenseVector(0.1, 0.1, 0.8),
  DenseVector(0.2, 0.3, 0.5),
  DenseVector(0.5, 0.1, 0.4),
  DenseVector(0.3, 0.3, 0.4)
)

val expFam = new Dirichlet.ExpFam(DenseVector.zeros[Double](3))

val suffStat = data.foldLeft(expFam.emptySufficientStatistic){(a, x) => 
  a + expFam.sufficientStatisticFor(x)
}

val alphaHat = expFam.mle(suffStat)
//DenseVector(2.9803000577558274, 2.325871404559782, 5.850530402841005)

结果与我使用自己的代码对 Dirichlets 进行最大似然估计得到的结果非常接近，但并不完全相同。差异可能只是归结为正在使用的优化器的差异（我在 T. Minka 的本文第 1 节中使用定点迭代 (9) ）和停止标准。

也许有更好的方法使用微风 api 来做到这一点；如果是这样，希望@dlwh 或其他更熟悉微风的人会加入进来。

于 2015-10-28T20:49:07.677 回答
1

T 应该是 DenseVector 而 I 应该是 Int。ExpFams 现在没有向量化。

于 2015-10-28T20:10:41.243 回答