8
给定
  • 我的 Java 应用程序是部署到 JBoss (4.0.4GA) 的 WAR
  • 发布和订阅 ActiveMQ (5.6.0) 实例
  • Java 应用程序使用 Apache Camel (2.10.3) 与 ActiveMQ 进行所有集成（生产和消费）
  • JBoss 和 ActiveMQ 在自己的（CentOS 5.6 Final）四核虚拟服务器上，每个虚拟在不同的物理上

我有一个线程挂起问题，并且在我的线程转储中看到以下内容：

java.net.SocketInputStream.socketRead0(Native Method)
java.net.SocketInputStream.read(SocketInputStream.java:129)
java.io.BufferedInputStream.fill(BufferedInputStream.java:218)
java.io.BufferedInputStream.read1(BufferedInputStream.java:258)
java.io.BufferedInputStream.read(BufferedInputStream.java:317)
sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:687)
sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:632)
sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1195)
java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:379)
org.springframework.remoting.httpinvoker.SimpleHttpInvokerRequestExecutor.validateResponse(SimpleHttpInvokerRequestExecutor.java:146)
org.springframework.remoting.httpinvoker.SimpleHttpInvokerRequestExecutor.doExecuteRequest(SimpleHttpInvokerRequestExecutor.java:66)
org.springframework.remoting.httpinvoker.AbstractHttpInvokerRequestExecutor.executeRequest(AbstractHttpInvokerRequestExecutor.java:136)
org.springframework.remoting.httpinvoker.HttpInvokerClientInterceptor.executeRequest(HttpInvokerClientInterceptor.java:192)
org.springframework.remoting.httpinvoker.HttpInvokerClientInterceptor.executeRequest(HttpInvokerClientInterceptor.java:174)
org.springframework.remoting.httpinvoker.HttpInvokerClientInterceptor.invoke(HttpInvokerClientInterceptor.java:142)
org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:202)
$Proxy117.SigmaCruxer(Unknown Source)
com.tms.SigmaClient.SigmaClient.processMessage(SigmaClient.java:46)
com.tms.SigmaClient.SigmaServiceEndpoint.doSigma(SigmaServiceEndpoint.java:29)
com.tms.SigmaClient.SigmaServiceEndpoint.mark(SigmaServiceEndpoint.java:43)
sun.reflect.GeneratedMethodAccessor193.invoke(Unknown Source)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
java.lang.reflect.Method.invoke(Method.java:597)
org.apache.camel.component.bean.MethodInfo.invoke(MethodInfo.java:329)
org.apache.camel.component.bean.MethodInfo$1.proceed(MethodInfo.java:231)
org.apache.camel.component.bean.BeanProcessor.process(BeanProcessor.java:169)
org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:104)
org.apache.camel.component.bean.BeanProcessor.process(BeanProcessor.java:74)
org.apache.camel.impl.ProcessorEndpoint.onExchange(ProcessorEndpoint.java:102)
org.apache.camel.impl.ProcessorEndpoint$1.process(ProcessorEndpoint.java:72)
org.apache.camel.impl.converter.AsyncProcessorTypeConverter$ProcessorToAsyncProcessorBridge.process(AsyncProcessorTypeConverter.java:50)
org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:78)
org.apache.camel.processor.SendProcessor$2.doInAsyncProducer(SendProcessor.java:114)
org.apache.camel.impl.ProducerCache.doInAsyncProducer(ProducerCache.java:284)
org.apache.camel.processor.SendProcessor.process(SendProcessor.java:109)
org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:78)
org.apache.camel.processor.DelegateAsyncProcessor.processNext(DelegateAsyncProcessor.java:98)
org.apache.camel.processor.DelegateAsyncProcessor.process(DelegateAsyncProcessor.java:89)
org.apache.camel.management.InstrumentationProcessor.process(InstrumentationProcessor.java:69)
org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:78)
org.apache.camel.processor.DelegateAsyncProcessor.processNext(DelegateAsyncProcessor.java:98)
org.apache.camel.processor.DelegateAsyncProcessor.process(DelegateAsyncProcessor.java:89)
org.apache.camel.processor.interceptor.TraceInterceptor.process(TraceInterceptor.java:99)
org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:78)
org.apache.camel.processor.RedeliveryErrorHandler.processErrorHandler(RedeliveryErrorHandler.java:318)
org.apache.camel.processor.RedeliveryErrorHandler.process(RedeliveryErrorHandler.java:209)
org.apache.camel.processor.DefaultChannel.process(DefaultChannel.java:305)
org.apache.camel.processor.UnitOfWorkProcessor.process(UnitOfWorkProcessor.java:102)
org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:78)
org.apache.camel.processor.DelegateAsyncProcessor.processNext(DelegateAsyncProcessor.java:98)
org.apache.camel.processor.DelegateAsyncProcessor.process(DelegateAsyncProcessor.java:89)
org.apache.camel.management.InstrumentationProcessor.process(InstrumentationProcessor.java:69)
org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:104)
org.apache.camel.processor.DelegateAsyncProcessor.process(DelegateAsyncProcessor.java:85)
org.apache.camel.component.jms.EndpointMessageListener.onMessage(EndpointMessageListener.java:91)
org.springframework.jms.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:560)
org.springframework.jms.listener.AbstractMessageListenerContainer.invokeListener(AbstractMessageListenerContainer.java:498)
org.springframework.jms.listener.AbstractMessageListenerContainer.doExecuteListener(AbstractMessageListenerContainer.java:467)
org.springframework.jms.listener.AbstractPollingMessageListenerContainer.doReceiveAndExecute(AbstractPollingMessageListenerContainer.java:325)
org.springframework.jms.listener.AbstractPollingMessageListenerContainer.receiveAndExecute(AbstractPollingMessageListenerContainer.java:263)
org.springframework.jms.listener.DefaultMessageListenerContainer$AsyncMessageListenerInvoker.invokeListener(DefaultMessageListenerContainer.java:1058)
org.springframework.jms.listener.DefaultMessageListenerContainer$AsyncMessageListenerInvoker.executeOngoingLoop(DefaultMessageListenerContainer.java:1050)
org.springframework.jms.listener.DefaultMessageListenerContainer$AsyncMessageListenerInvoker.run(DefaultMessageListenerContainer.java:947)
java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
java.lang.Thread.run(Thread.java:662)

根据这两篇文章：（这里和这里），我的 JBoss 应用程序有一个阻塞 I/O 操作Socket.read()，正在等待来自下游服务提供者（在我的例子中是 ActiveMQ）的完整响应。同样，根据这些文章，罪魁祸首是以下三项之一：

  • ActiveMQ 处于不健康/不稳定状态，响应太慢，导致我的监听/等待/阻塞线程挂起；或者
  • ActiveMQ 实例本身很好，但是正在处理一个需要很长时间才能完成的操作（写入 KahaDB 等），再次导致我的线程挂起；或者
  • 我的 JBoss 应用程序 (WAR) 和我的 ActiveMQ 实例之间存在网络问题。

我试图弄清楚这三个中的哪一个是这种情况。该线程转储中是否有任何内容表明它是哪一个？我的理解（在阅读了那些文章之后）是真正的挂起是客户端（阻塞）套接字刚刚没有收到它需要考虑响应完成的所有字节。意味着它没有收到来自 ActiveMQ 的任何响应，或者它只是没有收到完整的响应。

所以我问：

  1. 是否有明确的迹象表明这三种情况中的哪一种是这种情况？如果是这样，是什么/为什么？如果没有，我的下一步应该是什么（我也是设置 ActiveMQ 的“管理员”，所以我可以完全访问它以及 JBoss 和部署到它的 WAR）。
  2. 升级到更新的 JBoss 会解决这个问题吗？也许 4.0.4GA 正在使用“旧”（阻塞）Java I/O，而新版本可能使用 NIO？可能是一个长镜头，但还不能抹黑它。
  3. 两篇文章都强调应该实施正确的套接字超时配置，这可以很好地缓解所有这些问题（尽管它没有解决底层的 ActiveMQ 无响应和/或网络问题）：
    1. 这是我将在我的 Java 代码中编写的超时吗？如果是这样，如何以及使用什么 API？JMS? 一些 ActiveMQ 客户端 jar？
    2. 这是我在操作系统级别实现的超时吗？如果是这样，我不确定如何进行...
    3. 这是我在服务器端（ActiveMQ）实现的超时吗？如果是这样，怎么做？

我想我正在接近解决方案，但有点卡住并且很难通过树木看到森林。提前致谢！

4

1 回答 1

3

我对 JBoss（和 Glassfish）和 ActiveMQ 有一些经验，但我以前从未使用过 Camel（但我对 Mule 很熟悉，我读到的类似）。

您的堆栈跟踪看起来像是 Camel 试图将 ActiveMQ（跟踪底部的 JMS-stuff）链接到 Web 端点（跟踪顶部的 HTTP-stuff）。

我对骆驼在哪里运行（CamelContext）有点困惑。您说您有两台虚拟机，一台用于 JBoss，一台用于 ActiveMQ。在我的例子中，我们使用我们的 ActiveMQ 在机器上运行 Mule ESB。你的骆驼在哪里跑？

您的堆栈跟踪看起来最像第一篇文章中的问题 #1。就好像骆驼部分无法“看到”网络端点。检查您的 WAR 是否已正确部署，以及您的 Web 端点 (WSDL) 在两个虚拟机中是否可见。检查您的端点；也许一个设置为 localhost 或其他东西，这将不允许它到达另一台机器。

很难判断这是不完整的阅读还是完全无法阅读。有数据通过吗？Web 服务器可能会慢慢过载并且无法跟上请求（并且像您的错误一样饿死一些线程）。当您响应缓慢或请求很多时，套接字超时变得很重要；如果您可以创建一个简单的测试（快速且请求很少），那么您至少可以验证您是否具有基本连接。什么数据输入（测试）导致了这个错误？

考虑到更多的输入，我很乐意尝试改进这个答案。（对不起，我会尝试对您的问题发表评论，但我认为我还没有代表...）

于 2013-03-12T10:54:53.180 回答