4

我正在测试从 BoneCP 到 HikariCP 的迁移。

基准测试（HikariCP Benchmark）的结果如下：

Benchmark (maxPoolSize) (pool) Mode Samples Score Score error Units
czhbConnectionBench.cycleCnnection 32 hikari thrpt 16 1033,071 38,893 ops/ms
czhbConnectionBench.cycleCnnection 32 骨 thrpt 16 1648,954 42,610 ops/ms
czhbConnectionBench.cycleCnnection 32 tomcat thrpt 16 592,838 21,709 ops/ms
czhbConnectionBench.cycleCnnection 32 c3p0 thrpt 16 125,857 3,666 ops/ms
czhbConnectionBench.cycleCnnection 32 vibur thrpt 16 831,693 9,299 ops/ms
czhbStatementBench.cycleStatement 32 hikari thrpt 16 49983,959 4796,385 ops/ms
czhbStatementBench.cycleStatement 32 骨 thrpt 8 7022,146 526,111 ops/ms
czhbStatementBench.cycleStatement 32 tomcat thrpt 16 28777,731 1011,316 ops/ms
czhbStatementBench.cycleStatement 32 c3p0 thrpt 16 3367,641 137,937 操作/毫秒
czhbStatementBench.cycleStatement 32 vibur thrpt 16 1739,060 45,451 ops/ms

我想分数越高越好，所以：

  • 为什么 HikariCP 中的 cycleConnection 比 BoneCP 低？
  • 考虑到 cycleConnection 结果，cycleStatement 结果是否足以更好地迁移到 HikariCP？
  • 分数错误列是什么意思？

这些主题中的任何提示、建议等或相关迁移到 HikariCP 对我都非常有帮助。

非常感谢

第一次更新：

@brettw，感谢您的建议，并祝贺您的​​出色工作。

昨晚我用nohup ./benchmark.sh &进行了完整的运行，得到了以下结果：

Benchmark (maxPoolSize) (pool) Mode Samples Score Score error Units
czhbConnectionBench.cycleCnnection 32 hikari thrpt 150 965,017 27,307 ops/ms
czhbConnectionBench.cycleCnnection 32 骨 thrpt 150 1528,097 26,963 ops/ms
czhbConnectionBench.cycleCnnection 32 tomcat thrpt 150 473,702 8,068 ops/ms
czhbConnectionBench.cycleCnnection 32 c3p0 thrpt 150 108,527 1,591 操作/毫秒
czhbConnectionBench.cycleCnnection 32 vibur thrpt 150 740,603 14,556 ops/ms
czhbStatementBench.cycleStatement 32 hikari thrpt 60 47998,292 3112,217 ops/ms
czhbStatementBench.cycleStatement 32 骨骼 thrpt 120 6210,647 110,100 ops/ms
czhbStatementBench.cycleStatement 32 tomcat thrpt 150 25919,389 437,232 ops/ms
czhbStatementBench.cycleStatement 32 c3p0 thrpt 150 3074,133 62,629 ops/ms
czhbStatementBench.cycleStatement 32 vibur thrpt 150 1517,554 25,027 ops/ms

查看扩展输出，我在日志中看到此异常堆栈跟踪 6 次：

迭代 15：[com.zaxxer.hikari.benchmark.StatementBench.cycleStatement-jmh-worker-7] 信息 com.zaxxer.hikari.pool.HikariPool - HikariCP 池 HikariPool-0 正在关闭
下。


java.lang.IllegalStateException：尝试从包中移除一个没有借用或保留的对象
        在 com.zaxxer.hikari.util.ConcurrentBag.remove（ConcurrentBag.java:207）
        在 com.zaxxer.hikari.pool.HikariPool.closeConnection(HikariPool.java:394)
        在 com.zaxxer.hikari.pool.HikariPool.releaseConnection(HikariPool.java:223)
        在 com.zaxxer.hikari.proxy.ConnectionProxy.close(ConnectionProxy.java:216)
        在 com.zaxxer.hikari.benchmark.StatementBench$ConnectionState.teardown(StatementBench.java:63)
        在 com.zaxxer.hikari.benchmark.generated.StatementBench_cycleStatement.cycleStatement_Throughput(StatementBench_cycleStatement.java:100)
        在 sun.reflect.GeneratedMethodAccessor1.invoke（未知来源）
        在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        在 java.lang.reflect.Method.invoke(Method.java:606)
        在 org.openjdk.jmh.runner.LoopBenchmarkHandler$BenchmarkTask.call(LoopBenchmarkHandler.java:204)
        在 org.openjdk.jmh.runner.LoopBenchmarkHandler$BenchmarkTask.call(LoopBenchmarkHandler.java:186)
        在 java.util.concurrent.FutureTask.run(FutureTask.java:262)
        在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        在 java.lang.Thread.run(Thread.java:745)

最后，我从您的帖子中回答您的其他主题：

  • pom.xml 已更新以实现快速和完整的执行。
  • 干净启动后无法执行测试。
  • 有一个带有 Web 应用程序的 Tomcat 服务器。在测试执行期间，计算机既没有高负载也没有运行繁重的进程。
  • JDK版本为jdk1.7.0_67
  • Linux 是 x86_64-redhat-linux-gnu
  • CPU 型号为 Intel(R) Xeon(R) CPU E5-2690 0 @ 2.90GHz
  • 也许是一个重要的问题：测试已经在使用 VMWare 部署的虚拟机中运行。

再次感谢

第二次更新：关于迁移的问题已经变成另一个关于虚拟化和基准测试的问题，这也很有趣和有用。

到目前为止，我必须专注于虚拟环境。当我有一点时间时，我会在真实而直接的环境中运行测试，并将结果带到这里。我敢打赌，这些测试会将 HikariCP 显示为最佳连接池。

@brettw，感谢您的支持和良好的态度。

4

1 回答 1

4

HikariCP 的作者之一。有几件事要检查。首先，看起来您使用了基准测试的“快速”模式，我们通常使用它来“冒烟测试”快速更改。我建议全面运行。上面的结果看起来有点奇怪，至少在cycleStatement测试中是这样，因为所有池都应该显示16 个（在快速模式下）样本，但 BoneCP 只显示8个。完整的运行需要相当长的时间，但如果你只是想比较两个池，你可以缩短时间，如下所示：

./benchmark.sh -p pool=hikari,bone

其次，为基准测试编辑pom.xml文件并确保它使用的是最新的 HikariCP 版本。它现在应该是 2.2.5 版（非 SNAPSHOT），但提交的 pom.xml 看起来仍然有 2.1.1-SNAPSHOT。

“分数错误”是样本中的一种标准偏差，如果盒子上有其他进程消耗 CPU，它往往会爬得更高。我建议在干净启动后运行基准测试，在系统“稳定”一两分钟后，并确保在测试期间没有运行无关的进程（浏览器等）。

我们会对您运行的更新结果感兴趣，因为我们还没有看到 HikariCP 得分低于任何池。你能告诉我们你在什么环境下运行吗？CPU 类型/内核、操作系统、Java 版本以及这是否是虚拟机。谢谢。

更新：
8核E5-2690怎么可能得分这么低？在我的台式机 i7 Haswell 4 核上，我的 HikariCP 得分为 23130.760，Bone 得分为 10378.450，而 E5-2690 上的得分为 965.017 和 1528.097？

我想知道（并研究）VMWare Hypervisor 节流之类的东西是否正在发挥作用。我承认我远非 VM 管理程序方面的专家。在基准测试中 HikariCP 肯定会惩罚你的 CPU。

UPDATE2：
回复下面的评论。这个问题本身不是虚拟化。虚拟化很棒，而且会一直存在。问题基本上归结为在虚拟化硬件上运行微基准测试是否准确或有意义。

我认为，一般来说，一个在真实硬件上进行更高基准测试的库可能也会在虚拟化硬件上表现得更好——即使在那里不能使用相同的工具来测量它。这就是为什么上面我建议针对预期的应用程序运行一个宏基准测试工具，例如JMeter 。尝试使用库 A (HikariCP) 和库 B (BoneCP)。这适用于任何两个库。

总之，运行利用硬件计数器等的微基准测试工具很可能会在虚拟化硬件上产生奇怪的结果。这可能是在 VMWare 论坛中提出的一个很好的话题。

关于使用哪个库，要么运行 JMeter 或类似的宏基准测试工具，要么掷硬币。

于 2014-11-27T00:01:01.850 回答