我运行 Tomcat (7.0.28) 的 Java Web 应用程序定期变得无响应。我希望对可能的罪魁祸首(同步?)提出一些建议,以及一些推荐的工具,用于收集有关崩溃期间发生的情况的更多信息。我积累的一些事实:
当 web 应用程序冻结时,tomcat 继续向应用程序提供请求线程,但应用程序不会释放它们。线程池填满到最大值(当前为 250),然后后续请求立即失败。在正常操作期间,活动线程永远不会超过 2 或 3 个。
当问题发生时,我们的任何 tomcat 或 Web 应用程序日志中都没有记录任何类型的错误或异常。
通过 tomcat 管理 web 应用程序在我们的应用程序上执行“停止”然后“启动”立即解决了这个问题(直到今天)。
最近的频率是一天两三次,今天更糟,可能是二十次,有时还没有立即恢复。
该问题仅在工作时间出现
我们的暂存系统不会出现此问题
当问题发生时,服务器上的处理器和内存使用率保持不变(并且相当低)。Tomcat 报告有大量可用内存。
出现问题时,Tomcat 会继续响应。管理 web 应用程序运行良好,tomcat 继续向我们的应用程序发送请求,直到池中的所有线程都被填满。
当问题发生时,我们的数据库服务器保持响应。我们使用 Spring 框架进行数据访问和注入。
当使用率很高时,通常会出现问题,但使用率从来不会出现异常高的峰值。
问题历史:大约一年半前发生了类似的事情。经过多次服务器配置和代码更改,问题直到大约一个月前才消失。在过去的几周内,它的发生频率要高得多,平均每天 2 或 3 次,有时连续数次。
我今天发现了一些可能不是线程安全的服务器代码,我对此进行了修复,但问题仍然存在(尽管频率较低)。这是非线程安全代码可能导致的问题吗?
更新:有几篇文章暗示数据库连接池耗尽,我朝那个方向做了一些搜索,发现了另一个Stackoverflow 问题,它解释了我遇到的几乎所有问题。
显然,在 Apache 的 BasicDataSource 实现中,maxActive 和 maxIdle 连接的默认值都是 8。此外,maxWait 设置为 -1,因此当池耗尽并且新的连接请求进入时,它将永远等待而不记录任何有点例外。我仍将等待此问题再次发生并在 JVM 上执行 jstack 转储,以便我可以分析该信息,但看起来这就是问题所在。它唯一没有解释的是为什么应用程序有时无法从这个问题中恢复。我想请求有时会堆积起来,一旦落后,它就永远赶不上。
更新二:我在崩溃期间运行了一个 jstack,发现了以下大约 250 个(最大线程):
"http-nio-443-exec-294" daemon prio=10 tid=0x00002aaabd4ed800 nid=0x5a5d in Object.wait() [0x00000000579e2000]
java.lang.Thread.State: WAITING (on object monitor)
at java.lang.Object.wait(Native Method)
at java.lang.Object.wait(Object.java:485)
at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1118)
- locked <0x0000000743116b30> (a org.apache.commons.pool.impl.GenericObjectPool$Latch)
at org.apache.commons.dbcp.PoolingDataSource.getConnection(PoolingDataSource.java:106)
at org.apache.commons.dbcp.BasicDataSource.getConnection(BasicDataSource.java:1044)
at org.springframework.jdbc.datasource.DataSourceUtils.doGetConnection(DataSourceUtils.java:111)
at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:77)
at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:573)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:637)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:666)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:674)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:718)
对我未经训练的眼睛来说,这看起来相当确凿。看起来数据库连接池已达到上限。我配置了 3 秒的 maxWait,而没有修改 maxActive 和 maxIdle,只是为了确保当池填满时我们开始看到记录的异常。然后我会将这些值设置为适当的值并进行监控。
更新三:配置 maxWait 后,我开始在我的日志中看到这些,如预期的那样:
org.apache.commons.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object
at org.apache.commons.dbcp.PoolingDataSource.getConnection(PoolingDataSource.java:114)
at org.apache.commons.dbcp.BasicDataSource.getConnection(BasicDataSource.java:1044)
at org.springframework.jdbc.datasource.DataSourceUtils.doGetConnection(DataSourceUtils.java:111)
at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:77)
我已将 maxActive 设置为 -1(无限),将 maxIdle 设置为 10。我将监视一段时间,但我的猜测是问题到此为止。