15

我们最近将 Jetty 服务器从版本 6.1.25 升级到了 9.0.4。它们部署在 Windows 2008 服务器上的 Java 1.7.0_11 64 位上。

除了 Jetty 所需的配置更改（start.ini - 非常好），我们保持所有 JVM 标志与以前相同。在生产环境中部署 6 天后，服务器对 HTTP 请求无响应。在此期间，内部“心跳”处理继续正常运行，但它不为外部请求提供服务。该服务重新启动，6 天后它再次变得无响应。

在我最初的审查中，我认为我对https://bugs.eclipse.org/bugs/show_bug.cgi?id=357318有所了解。但是，该 JVM 问题已从 Java 1.8_0XX 向后移植到 Java 1.7.0_06。这使我回顾了线程处理。

认为它可能与 eclipse 网站上的案例 400617/410550 有关，尽管它本身并不像所写的那样，而且该案例显然已在 Jetty 9.0.3 中解决。

通过 JMX 监控应用程序显示“qtp”线程的线程数随着时间的推移而持续增长，而我一直未能成功寻找解决方案。线程配置当前设置为：

threads.min=10
threads.max=200
threads.timeout=60000

所有 qtp 线程通常都处于 WAITING 状态，并具有以下堆栈跟踪：

Name: qtp1805176801-285
State: WAITING on java.util.concurrent.Semaphore$NonfairSync@4bf4a3b0
Total blocked: 0  Total waited: 110

Stack trace: 
sun.misc.Unsafe.park(Native Method)
java.util.concurrent.locks.LockSupport.park(Unknown Source)
java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(Unknown Source)
java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(Unknown Source)
java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireSharedInterruptibly(Unknown Source)
java.util.concurrent.Semaphore.acquire(Unknown Source)
org.eclipse.jetty.util.BlockingCallback.block(BlockingCallback.java:96)
org.eclipse.jetty.server.HttpConnection$Input.blockForContent(HttpConnection.java:457)
org.eclipse.jetty.server.HttpInput.consumeAll(HttpInput.java:282)
   - locked org.eclipse.jetty.util.ArrayQueue@3273ba91
org.eclipse.jetty.server.HttpConnection.completed(HttpConnection.java:360)
org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:340)
org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:224)
org.eclipse.jetty.io.AbstractConnection$ReadCallback.run(AbstractConnection.java:358)
org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:601)
org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:532)
java.lang.Thread.run(Unknown Source)

仔细观察后，这似乎与具有以下状态的最新线程不同：

Name: qtp1805176801-734
State: TIMED_WAITING on java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject@77b83b6e
Total blocked: 5  Total waited: 478

Stack trace: 
sun.misc.Unsafe.park(Native Method)
java.util.concurrent.locks.LockSupport.parkNanos(Unknown Source)
java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(Unknown Source)
org.eclipse.jetty.util.BlockingArrayQueue.poll(BlockingArrayQueue.java:390)
org.eclipse.jetty.util.thread.QueuedThreadPool.idleJobPoll(QueuedThreadPool.java:509)
org.eclipse.jetty.util.thread.QueuedThreadPool.access$700(QueuedThreadPool.java:48)
org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:563)
java.lang.Thread.run(Unknown Source)

根据命名约定，一些 qtp 线程非常古老（qtp1805176801-206），而另一些则非常新（qtp1805176801-6973）。我发现有趣的是，旧线程不会基于 60 秒空闲超时而超时。该应用程序在美国工作时间为客户提供服务，并且在凌晨时分基本上是空闲的，那时我预计几乎所有的池都会被清理干净。

希望有人可以为我指出如何追踪此问题的正确方向。我在 Jetty 方面的经验让我相信他们的东西非常可靠，而且大多数问题要么是我们实现中的程序化问题（去过那里），要么是与 JVM 相关的（做过）。如果您认为我可能会在线程上追逐红鲱鱼，也可以接受建议。

新信息： 进一步跟踪异常，这似乎是当 GWT RPC 调用在等待响应时超时引起的。以下堆栈跟踪显示了与处于无效状态的线程相关的日志文件中的异常。使用它来查看和查找有关 Jetty/GWT 交互问题的其他报告。

2013-09-03 08:41:49.249:WARN:/webapp:qtp488328684-414: Exception while dispatching incoming RPC call
java.io.IOException: java.util.concurrent.TimeoutException: Idle timeout expired: 30015/30000 ms
    at org.eclipse.jetty.util.BlockingCallback.block(BlockingCallback.java:103)
    at org.eclipse.jetty.server.HttpConnection$Input.blockForContent(HttpConnection.java:457)
    at org.eclipse.jetty.server.HttpInput.read(HttpInput.java:130)
    at java.io.InputStream.read(Unknown Source)
    at com.google.gwt.user.server.rpc.RPCServletUtils.readContent(RPCServletUtils.java:175)
    at com.google.gwt.user.server.rpc.RPCServletUtils.readContentAsGwtRpc(RPCServletUtils.java:205)
    at com.google.gwt.user.server.rpc.AbstractRemoteServiceServlet.readContent(AbstractRemoteServiceServlet.java:182)
    at com.google.gwt.user.server.rpc.RemoteServiceServlet.processPost(RemoteServiceServlet.java:239)
    at com.google.gwt.user.server.rpc.AbstractRemoteServiceServlet.doPost(AbstractRemoteServiceServlet.java:62)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:755)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:848)
    at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:698)
    at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1506)
    at c.t.b.servlet.PipelineFilter.doFilter(PipelineFilter.java:56)
    at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1494)
    at c.v.servlet.SetRequestEncoding.doFilter(SetRequestEncoding.java:27)
    at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1494)
    at c.t.b.servlet.OutOfMemoryFilter.doFilter(OutOfMemoryFilter.java:39)
    at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1486)
    at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:503)
    at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:138)
    at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:564)
    at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:213)
    at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1094)
    at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:432)
    at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:175)
    at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1028)
    at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:136)
    at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:258)
    at org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:109)
    at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97)
    at org.eclipse.jetty.server.Server.handle(Server.java:445)
    at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:267)
    at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:224)
    at org.eclipse.jetty.io.AbstractConnection$ReadCallback.run(AbstractConnection.java:358)
    at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:601)
    at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:532)
    at java.lang.Thread.run(Unknown Source)
Caused by: 
java.util.concurrent.TimeoutException: Idle timeout expired: 30015/30000 ms
    at org.eclipse.jetty.io.IdleTimeout.checkIdleTimeout(IdleTimeout.java:153)
    at org.eclipse.jetty.io.IdleTimeout$1.run(IdleTimeout.java:50)
    at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
    at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
    at java.util.concurrent.FutureTask.run(Unknown Source)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(Unknown Source)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
    at java.lang.Thread.run(Unknown Source)
4

3 回答 3

7

最后在 Eclipse/Jetty 网站上发布了这个问题。以下链接可用于跟踪解决方案的任何永久修复。

https://bugs.eclipse.org/bugs/show_bug.cgi?id=416477

该问题与作为 GWT RPC 调用的一部分的请求期间已超时的 QTP 线程上的信号量锁定有关。原始请求是定时的，超时时间为 30 秒。请求在等待 Semaphore.acquire 方法完成时超时。作为请求清理的一部分，HTTPConnection 尝试对请求执行 .consumeAll，这再次尝试 Sempahore.acquire。这一次，请求没有计时，并且锁保持在原位，直到线程被中断。

由于 Jetty 无法重现该问题，并且我无法找到任何其他有关该问题的报告，因此该问题似乎确实与该平台非常相关。此外，这只发生在我们的一种生产环境中。我的猜测是 GWT RPC 代码、Jetty 和操作系统之间发生了一些事情。我们计划对 JDK、Jetty 和 GWT SDK 进行小幅升级。

解决方法 最初的解决方法是每天通过 JMX 控制台手动中断锁定线程几次。我们长期的解决方案是建立一个清理机制来查找这些锁定的线程并在它们上调用中断方法。

于 2013-10-01T11:56:50.003 回答
1

QueuedThreadPool 是线程的共享池。其中的线程将被重用于其他处理。是的，追逐线程池，假设线程将被清理，是一条红鲱鱼。这些线程会在很长一段时间内（想想几个小时）慢慢地从池中掉下来。这是线程池中的性能决定（创建成本很高，尽可能不频繁地执行）。

至于你粘贴的stacktrace，它是不完整的，所以对行为的猜测量非常高。但话虽如此，这两行可以表示正常操作，但没有堆栈跟踪的其余部分，就没有什么可继续的了。

此外，您使用的 Java 版本 1.7.0_06 和 1.7.0_11 非常旧，您需要修复数百个错误。

于 2013-08-29T21:37:09.533 回答
1

我对 Jetty 9.2.3.v20140905 和 Java (build 1.8.0_20-b26) 64 位有同样的看法。

解决方法。安装监视器http://mmonit.com/monit/

# monit.conf
check process jetty-service with pidfile "/opt/jetty-service/jetty.pid"
start program = "/usr/sbin/service jetty-service start" with timeout 30 seconds
stop program = "/usr/sbin/service jetty-service stop"
if totalmem is greater than 1268 MB for 10 cycles then restart
if 5 restarts within 5 cycles then timeout
于 2015-02-25T11:42:59.590 回答