2

我需要找到大量数据流的任意分位数（不适合内存），并且结果需要是可重复的，即对于同一个流，结果应该是相同的。为此，我一直在使用 colt，结果不可重复。

是否有另一个图书馆通过这些要求？

我必须做什么才能使分位数分箱的结果可与 colt 重复（我使用的是 1.2.0）？我在随机数中使用了随机种子，但看起来 colt 引入了自己的随机性。我想不通。

对于两次不同的运行，我得到以下结果。如果它们是可重复的，结果将是相同的：

[0.0990242124295947, 0.20014652659912247, 0.2996443961549412]
[0.09994965676310263, 0.20079195488768953, 0.29986981667267676]

这是生成它的代码：

public class QuantileTest {

    public static void main(String[] args) throws IOException, Exception {
        QuantileBin1D qBins = new QuantileBin1D(false, Long.MAX_VALUE, 0.001, 0.0001, 64, null);
        Random rand = new Random(0);
        for (int i = 0; i < 1500000; i++) {
            double num = rand.nextDouble();;
            qBins.add(num);
        }

        DoubleArrayList qMarks = new DoubleArrayList(new double[] {0.1, 0.2, 0.3});
        double[] xMarks = qBins.quantiles(qMarks).elements();
        System.out.println(Arrays.toString(xMarks));
    }
}
4

1 回答 1

1

由于您没有向 QuantileBin1D 提供 RandomEngine，因此仍然存在一些随机性。在某些类（RandomSampler 是我发现的第一次出现）中，将创建一个似乎不可重复的默认 RandomEngine。

if (randomGenerator==null) randomGenerator = cern.jet.random.AbstractDistribution.makeDefaultGenerator();
    this.my_RandomGenerator=randomGenerator;

您应该将构造函数更改为 new QuantileBin1D(false, Long.MAX_VALUE, 0.001, 0.0001, 64, new DRand());

withcern.jet.random.engine.DRand是默认构造函数记录在

构造并返回一个带有默认种子的随机数生成器，该种子是一个常量。

这应该导致非随机结果。

于 2012-09-23T10:14:10.000 回答