3

我目前正在研究我的论文项目，设计一个缓存实现以与最短路径图算法一起使用。图算法与运行时相当不一致，因此对整个算法进行基准测试太麻烦了。我必须只专注于对缓存进行基准测试。

我需要进行基准测试的缓存大约是一个Map接口的十几个实现。这些缓存旨在与给定的访问模式（从上面的算法中查询密钥的顺序）很好地配合使用。然而，在一个“小”问题的给定运行中，有几千亿个查询。我需要运行几乎所有这些，才能对基准测试的结果充满信心。

我在将数据加载到内存时遇到了概念问题。可以创建一个查询日志，它只是在一次算法运行中查询的所有键（它们是 10 个字符的字符串标识符）的磁盘有序列表。这个文件很大。我的另一个想法是将日志分成 1-5 百万个查询块，并以下列方式进行基准测试：

  1. 加载 1-5 百万个密钥
  2. 将开始时间设置为当前时间
  3. 按顺序查询它们
  4. 记录经过的时间（当前时间 - 开始时间）

我不确定这会对缓存产生什么影响。我怎样才能进行热身期？加载文件可能会清除 L1 或 L2 缓存中最后一个块的所有数据。此外，维护一个 1-5 百万元素的字符串数组有什么影响（甚至迭代它会扭曲结果）？

请记住，访问模式很重要！例如，有一些哈希表具有移动到前端启发式，它重新排序表的内部结构。多次运行单个块或无序运行块是不正确的。这使得预热 CPU 缓存和 HotSpot 变得更加困难（我还可以保留一个用于预热但不用于计时的辅助虚拟缓存）。

拥有庞大数据集的微基准测试有哪些好的做法？

4

1 回答 1

1

如果我正确理解了这个问题，如何在一台机器上加载查询日志，如果你没有足够的内存，可能是块，然后通过专用网络（可能是交叉电缆）将其流式传输到运行基准测试的机器上，因此您在被测系统与测试代码/数据之间的干扰最小......？

无论您使用哪种解决方案，您都应该尝试多次运行，以便评估可重复性 - 如果您没有获得合理的可重复性，那么您至少可以检测到您的解决方案不合适！

更新：re：批处理和计时 - 实际上，您可能最终会得到某种形式的细粒度批处理，至少，以有效地通过网络获取数据。如果您的数据属于自然的大型“组”或阶段，那么我会单独对它们进行计时以检查异常情况，但最强烈地依赖于整体时间安排。我认为小批量成千上万的时间（考虑到您正在运行数百万）并没有太多好处。

即使您在一台具有大量 RAM 的机器上运行所有内容，也可能值得将数据加载到一个 JVM 中，并将正在测试的代码加载到另一台 JVM 中，这样缓存 JVM 上的垃圾收集不会（直接）受到大堆的影响需要保存查询日志。

于 2012-10-10T19:40:02.387 回答