r - 如何在 R 中为非常大的数据集使用 powerlaw 包？

Question

我正在为 4500 万行向量拟合幂律，为此我使用 R 中的 powRlaw 包：https ://arxiv.org/pdf/1407.3492.pdf

该过程中计算量最大的部分是估计下限，这是通过estimate_xmin()函数完成的。这需要很多时间。

代码是这样的（w是向量，c_pl来自“连续幂律”）：

c_pl <- conpl$new(w)
est <- estimate_xmin(c_pl)
c_pl$setXmin(est)

我想知道如何以estimate_xmin()最小化处理时间（可能是并行计算？）的方式使用该函数，我正在使用具有 16 个内核和 64GB RAM 的 AWS 实例。谢谢。

Answer 1

需要这么长时间的原因estimate_xmin是因为它正在尝试所有可能的值xmin。该函数有一个xmins可用于截断此搜索的参数，例如

estimate_xmin(m, xmins=c(10, 100, 1000, 10000))

将在 10、100、1000 和 10000 中找到最佳 xmin。