20

我编写了一个简单的基准测试，以确定在通过按位与计算数组时是否可以消除边界检查。这基本上是几乎所有哈希表所做的：它们计算

h & (table.length - 1)

作为 的索引table，其中或h是hashCode派生值。结果表明边界检查没有被消除。

我的基准测试的想法非常简单：计算两个值i和j，保证两者都是有效的数组索引。

  • i是循环计数器。当它被用作数组索引时，边界检查就被消除了。
  • j计算为x & (table.length - 1)，其中x每次迭代都有一些值变化。当它被用作数组索引时，边界检查不会被消除。

相关部分如下：

for (int i=0; i<=table.length-1; ++i) {
    x += result;
    final int j = x & (table.length-1);
    result ^= i + table[j];
}

另一个实验使用

    result ^= table[i] + j;

反而。时间上的差异可能是 15%（在我尝试过的不同变体中非常一致）。我的问题：

  • 除了约束检查消除之外，还有其他可能的原因吗？
  • 是否有一些复杂的原因我看不出为什么没有约束检查消除j？

答案摘要

MarkoTopolnik 的回答表明这一切都更加复杂，并且不能保证消除边界检查是胜利，尤其是在他的计算机上，“正常”代码比“屏蔽”代码慢。我想这是因为它允许进行一些额外的优化，这在这种情况下实际上是有害的（鉴于当前 CPU 的复杂性，编译器甚至几乎无法确定）。

leventov 的回答清楚地表明，数组边界检查是在“屏蔽”中完成的，并且它的消除使代码与“正常”一样快。

Donal Fellows 指出了这样一个事实，即屏蔽不适用于零长度表，x & (0-1)如x. 所以编译器能做的最好的事情就是用零长度检查代替边界检查。但恕我直言，这仍然值得，因为零长度检查可以轻松移出循环。

建议的优化

由于a[x & (a.length - 1)]当且仅当 等价抛出a.length == 0，编译器可以执行以下操作：

  • 对于每个数组访问，检查索引是否已通过按位与计算。
  • 如果是这样，请检查是否有任何一个操作数被计算为长度减一。
  • 如果是这样，请将边界检查替换为零长度检查。
  • 让现有的优化来处理它。

这样的优化应该非常简单且便宜，因为它只查看SSA图中的父节点。与许多复杂的优化不同，它永远不会有害，因为它只是用稍微简单的检查代替了一项检查；所以没有问题，即使它不能移出循环。

我会将其发布到热点开发邮件列表。

消息

约翰·罗斯提交了一份RFE，并且已经有一个“快速而肮脏”的补丁。

4

3 回答 3

5

首先，您的两个测试之间的主要区别肯定是边界检查消除；然而，这对机器代码的影响方式与天真的期望所暗示的相去甚远。

我的猜想：

边界检查作为循环退出点比作为引入开销的附加代码更强烈。

循环出口点阻止了我从发出的机器代码中剔除的以下优化：

  • 循环展开（在所有情况下都是如此）；
  • 此外，首先对所有展开的步骤从数组阶段进行提取，然后对所有步骤进行异或到累加器中。

如果循环可以在任何步骤中断，则此分段将导致执行的工作循环步骤从未实际执行过。

考虑对您的代码稍作修改：

@OutputTimeUnit(TimeUnit.NANOSECONDS)
@BenchmarkMode(Mode.AverageTime)
@OperationsPerInvocation(Measure.N)
@Warmup(iterations = 3, time = 1)
@Measurement(iterations = 5, time = 1)
@State(Scope.Thread)
@Threads(1)
@Fork(1)
 public class Measure {
  public static final int N = 1024;

  private final int[] table = new int[N];
  @Setup public void setUp() {
    final Random random = new Random();
    for (int i = 0; i < table.length; ++i) {
      final int x = random.nextInt();
      table[i] = x == 0? 1 : x;
    }
  }
  @GenerateMicroBenchmark public int normalIndex() {
    int result = 0;
    final int[] table = this.table;
    int x = 0;
    for (int i = 0; i <= table.length - 1; ++i) {
      x += i;
      final int j = x & (table.length - 1);
      final int entry = table[i];
      result ^= entry + j;
      if (entry == 0) break;
    }
    return result;
  }
  @GenerateMicroBenchmark public int maskedIndex() {
    int result = 0;
    final int[] table = this.table;
    int x = 0;
    for (int i = 0; i <= table.length - 1; ++i) {
      x += i;
      final int j = x & (table.length - 1);
      final int entry = table[j];
      result ^= i + entry;
      if (entry == 0) break;
    }
    return result;
  }
}

只有一个区别：我添加了支票

if (entry == 0) break;

为循环提供一种在任何步骤上提前退出的方法。（我还引入了一个守卫来确保没有数组条目实际上是 0。）

在我的机器上，结果如下：

Benchmark                   Mode   Samples         Mean   Mean error    Units
o.s.Measure.maskedIndex     avgt         5        1.378        0.229    ns/op
o.s.Measure.normalIndex     avgt         5        0.924        0.092    ns/op

正如通常预期的那样，“正常指数”变体要快得多。

但是，让我们删除额外的检查：

// if (entry == 0) break;

现在我的结果是：

Benchmark                   Mode   Samples         Mean   Mean error    Units
o.s.Measure.maskedIndex     avgt         5        1.130        0.065    ns/op
o.s.Measure.normalIndex     avgt         5        1.229        0.053    ns/op

“屏蔽索引”的响应可以预见（减少开销），但“正常索引”突然变得更糟。这显然是由于额外的优化步骤与我的特定 CPU 型号之间的不匹配所致。

我的观点：

如此详细的性能模型非常不稳定，正如我的 CPU 所见证的那样，甚至不稳定。

于 2014-02-12T09:19:59.637 回答
3
  1. 不，这显然是智能边界检查消除不足的结果。

我扩展了 Marko Topolnik 的基准：

@OutputTimeUnit(TimeUnit.NANOSECONDS)
@BenchmarkMode(Mode.AverageTime)
@OperationsPerInvocation(BCElimination.N)
@Warmup(iterations = 5, time = 1)
@Measurement(iterations = 10, time = 1)
@State(Scope.Thread)
@Threads(1)
@Fork(2)
public class BCElimination {
    public static final int N = 1024;
    private static final Unsafe U;
    private static final long INT_BASE;
    private static final long INT_SCALE;
    static {
        try {
            Field f = Unsafe.class.getDeclaredField("theUnsafe");
            f.setAccessible(true);
            U = (Unsafe) f.get(null);
        } catch (Exception e) {
            throw new IllegalStateException(e);
        }

        INT_BASE = U.arrayBaseOffset(int[].class);
        INT_SCALE = U.arrayIndexScale(int[].class);
    }

    private final int[] table = new int[BCElimination.N];

    @Setup public void setUp() {
        final Random random = new Random();
        for (int i=0; i<table.length; ++i) table[i] = random.nextInt();
    }

    @GenerateMicroBenchmark public int normalIndex() {
        int result = 0;
        final int[] table = this.table;
        int x = 0;
        for (int i=0; i<=table.length-1; ++i) {
            x += i;
            final int j = x & (table.length-1);
            result ^= table[i] + j;
        }
        return result;
    }

    @GenerateMicroBenchmark public int maskedIndex() {
        int result = 0;
        final int[] table = this.table;
        int x = 0;
        for (int i=0; i<=table.length-1; ++i) {
            x += i;
            final int j = x & (table.length-1);
            result ^= i + table[j];
        }
        return result;
    }

    @GenerateMicroBenchmark public int maskedIndexUnsafe() {
        int result = 0;
        final int[] table = this.table;
        long x = 0;
        for (int i=0; i<=table.length-1; ++i) {
            x += i * INT_SCALE;
            final long j = x & ((table.length-1) * INT_SCALE);
            result ^= i + U.getInt(table, INT_BASE + j);
        }
        return result;
    }
}

结果：

Benchmark                                Mean   Mean error    Units
BCElimination.maskedIndex               1,235        0,004    ns/op
BCElimination.maskedIndexUnsafe         1,092        0,007    ns/op
BCElimination.normalIndex               1,071        0,008    ns/op


2. 第二个问题是针对热点开发邮件列表而不是 StackOverflow，恕我直言。

于 2014-02-11T17:28:59.940 回答
1

为了安全地消除边界检查，有必要证明

h & (table.length - 1)

保证生成一个有效的索引到table. 如果table.length为零则不会（因为您最终会得到& -1一个有效的noop）。table.length如果不是 2 的幂，它也不会有用（你会丢失信息；考虑table.length17 的情况）。

HotSpot 编译器怎么知道这些不好的条件不成立呢？它必须比程序员更保守，因为程序员可以更多地了解系统上的高级约束（例如，数组永远不会为空，并且总是作为元素的数量，它是幂的 -二）。

于 2014-02-12T08:15:40.730 回答