3

我正在编写一个微基准来比较使用+运算符与StringBuilder的字符串连接。为此，我创建了一个基于OpenJDK 示例的 JMH 基准测试类，该示例使用了batchSize参数：

@State(Scope.Thread)
@BenchmarkMode(Mode.AverageTime)
@Measurement(batchSize = 10000, iterations = 10)
@Warmup(batchSize = 10000, iterations = 10)
@Fork(1)
public class StringConcatenationBenchmark {

    private String string;

    private StringBuilder stringBuilder;

    @Setup(Level.Iteration)
    public void setup() {
        string = "";
        stringBuilder = new StringBuilder();
    }

    @Benchmark
    public void stringConcatenation() {
        string += "some more data";
    }

    @Benchmark
    public void stringBuilderConcatenation() {
        stringBuilder.append("some more data");
    }

}

当我运行基准测试时，我收到以下stringBuilderConcatenation方法错误：

java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:3332)
    at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:137)
    at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:121)
    at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:421)
    at java.lang.StringBuilder.append(StringBuilder.java:136)
    at link.pellegrino.string_concatenation.StringConcatenationBenchmark.stringBuilderConcatenation(StringConcatenationBenchmark.java:29)
    at link.pellegrino.string_concatenation.generated.StringConcatenationBenchmark_stringBuilderConcatenation.stringBuilderConcatenation_avgt_jmhStub(StringConcatenationBenchmark_stringBuilderConcatenation.java:165)
    at link.pellegrino.string_concatenation.generated.StringConcatenationBenchmark_stringBuilderConcatenation.stringBuilderConcatenation_AverageTime(StringConcatenationBenchmark_stringBuilderConcatenation.java:130)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at org.openjdk.jmh.runner.BenchmarkHandler$BenchmarkTask.call(BenchmarkHandler.java:430)
    at org.openjdk.jmh.runner.BenchmarkHandler$BenchmarkTask.call(BenchmarkHandler.java:412)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

我在想必须增加默认的 JVM 堆大小，所以我尝试使用JMH 提供的选项允许最多 10GB 的-Xmx10G值。-jvmArgs不幸的是，我仍然得到错误。

因此，我尝试将batchSize参数的值减小到1，但仍然得到OutOfMemoryError。

我发现的唯一解决方法是将基准模式设置为Mode.SingleShotTime. 由于这种模式似乎将批处理视为单次拍摄（即使s/op显示在 Units 列中），似乎我得到了我想要的指标：执行一组批处理操作的平均时间。但是，我仍然不明白为什么它不能与Mode.AverageTime.

另请注意，stringConcatenation无论使用何种基准模式，方法的基准都会按预期工作。该问题仅发生在stringBuilderConcatenation使用 StringBuilder 的方法上。

欢迎任何帮助理解为什么前面的示例无法使用设置为的基准模式Mode.AverageTime。

我使用的 JMH 版本是1.10.4。

4

1 回答 1

3

没错，这Mode.SingleShotTime就是您所需要的：它可以测量单个批次的时间。使用时，Mode.AverageTime您的迭代仍然有效，直到迭代时间结束（默认为 1 秒）。它测量每次执行单个批处理的时间（仅计算在执行时间内完全完成的批处理），因此最终结果不同，但执行时间相同。

另一个问题是@Setup(Level.Iteration)强制设置在每次迭代之前执行，而不是在每批之前执行。因此，您的字符串实际上不受批量大小的限制。字符串版本不会OutOfMemoryError因为它比 慢得多StringBuilder，所以在 1 秒内它能够构建更短的字符串。

修复基准测试的不是很漂亮的方法（同时仍然使用平均时间模式和 batchSize 参数）是手动重置 string/stringBuilder：

@State(Scope.Thread)
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.MICROSECONDS)
@Measurement(batchSize = 10000, iterations = 10)
@Warmup(batchSize = 10000, iterations = 10)
@Fork(1)
public class StringConcatenationBenchmark {
    private static final String S = "some more data";
    private static final int maxLen = S.length()*10000;

    private String string;

    private StringBuilder stringBuilder;

    @Setup(Level.Iteration)
    public void setup() {
        string = "";
        stringBuilder = new StringBuilder();
    }

    @Benchmark
    public void stringConcatenation() {
        if(string.length() >= maxLen) string = "";
        string += S;
    }

    @Benchmark
    public void stringBuilderConcatenation() {
        if(stringBuilder.length() >= maxLen) stringBuilder = new StringBuilder();
        stringBuilder.append(S);
    }
}

这是我的盒子上的结果（i5 3340、4Gb RAM、64bit Win7、JDK 1.8.0_45）：

Benchmark                   Mode  Cnt       Score       Error  Units
stringBuilderConcatenation  avgt   10     145.997 ±     2.301  us/op
stringConcatenation         avgt   10  324878.341 ± 39824.738  us/op

所以你可以看到只有大约 3 个批次适合stringConcatenation( 1e6/324878) 的第二个批次，而stringBuilderConcatenation可以执行数千个批次，导致巨大的字符串导致OutOfMemoryError.

我不知道为什么添加更多内存对您不起作用，对我-Xmx4G来说足以运行您原始基准的 stringBuilder 测试。可能你的盒子更快，所以生成的字符串更长。请注意，对于非常大的字符串，即使您有足够的内存，您也可以达到数组大小限制（20 亿个元素）。加内存后查看异常stacktrace：是不是一样？如果你达到了数组大小限制，它仍然是OutOfMemoryError，但 stacktrace 会有所不同。无论如何，即使有足够的内存，您的基准测试结果也会不正确（对于String和StringBuilder）。

于 2015-08-23T12:32:57.420 回答