tomcat - 由于 Mac OS X 上的“java.net.SocketException Invalid argument”，Tomcat 启动失败

Question

我们有一个在 Tomcat 6（准确地说是 6.0.35.0）上运行的应用程序，由于 Catalina.await 方法中的 socketAccept 调用抛出 SocketException，我们大多数 Mac OS 上的工程师在启动 Tomcat 时遇到问题：

SEVERE: StandardServer.await: accept:
java.net.SocketException: Invalid argument
      at java.net.PlainSocketImpl.socketAccept(Native Method)
      at java.net.PlainSocketImpl.socketAccept(PlainSocketImpl.java)
      at java.net.AbstractPlainSocketImpl.accept(AbstractPlainSocketImpl.java:398)
      at java.net.ServerSocket.implAccept(ServerSocket.java:522)
      at java.net.ServerSocket.accept(ServerSocket.java:490)
      at org.apache.catalina.core.StandardServer.await(StandardServer.java:431)
      at org.apache.catalina.startup.Catalina.await(Catalina.java:676)
      at org.apache.catalina.startup.Catalina.start(Catalina.java:628)
      at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
      at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
      at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
      at java.lang.reflect.Method.invoke(Method.java:601)
      at org.apache.catalina.startup.Bootstrap.start(Bootstrap.java:289)
      at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:414)
      at mycompany.tomcat.startup.ThreadDumpWrapper.main(ThreadDumpWrapper.java:260)
      at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
      at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
      at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
      at java.lang.reflect.Method.invoke(Method.java:601)
      at org.tanukisoftware.wrapper.WrapperStartStopApp.run(WrapperStartStopApp.java:238)
      at java.lang.Thread.run(Thread.java:722)

这会导致 Tomcat 在启动后立即关闭（并且非常愤怒）。我们认为这在 Mac OS w/Java 1.7 上一直伴随着我们，在过去的几个月里，我们中的很多人已经切换到 Macbook Pros。到目前为止，唯一的症状是来自 Tomcat 的偶尔的零字节响应，因为这个异常也被抛出在 socketRead 上。错误不会出现在日志中，我们单独将其作为一个孤立的问题不予考虑，并且仅在启动问题开始时才找到原因并设置了 SocketException 断点：

Daemon Thread [http-8080-1] (Suspended (breakpoint at line 47 in SocketException))  
  SocketException.<init>(String) line: 47 
  SocketInputStream.socketRead0(FileDescriptor, byte[], int, int, int) line: not available [native method] 
  SocketInputStream.socketRead0(FileDescriptor, byte[], int, int, int) line: not available  
  SocketInputStream.read(byte[], int, int, int) line: 150 
  SocketInputStream.read(byte[], int, int) line: 121  
  InternalInputBuffer.fill() line: 735  
  InternalInputBuffer.parseRequestLine() line: 366  
  Http11Processor.process(Socket) line: 814 
  Http11Protocol$Http11ConnectionHandler.process(Socket) line: 602  
  JIoEndpoint$Worker.run() line: 489  
  Thread.run() line: 722

对于参数：

arg0  FileDescriptor  (id=499)  
  fd  1097  
  useCount  AtomicInteger  (id=503) 
    value 2 
arg1  (id=502)
arg2  0 
arg3  8192  
arg4  20000

问题是时间敏感的。由于应用程序更改导致启动时间增加（更多的 Spring 自省/单例开销）似乎是导致这影响 Tomcat 启动的因素；临界点约为 160 秒。我们可以通过禁用一些我们在开发过程中不需要的非强制性上下文来减少启动时间来缓解这个问题，但我更愿意找到根本原因。

应用程序配置

应用程序的细节过于复杂，无法详细介绍，但我有一种预感，这可能与早期的绑定有关，所以我至少会列出我机器上的监听端口：

localhost:32000 - Java service wrapper port
*:10001         - RMI registry
*:2322          - Java debug
*:56566         - RMI
*:8180          - Tomcat HTTP connector
*:8543          - Tomcat HTTPS connector
*:2223          - Tomcat Internal HTTP connector (used for cross-server requests)
*:14131         - 'Locking' port to determine if an internal service is running
*:56571         - EhCache RMI
*:56573         - RMI
*:62616         - ActiveMQ broker
*:5001          - SOAPMonitorService
*:8109          - Tomcat shutdown port

排除的项目

最明显的解决方案：-Djava.net.preferIPv4Stack=true. 我一直都配置了该选项
最近对我们的基本应用程序配置、库、JVM 选项的任何配置更改（没有）
JDK 回归。我已经测试了 JDK 1.7.0_09、11、15、17 和 21（我一直在我的机器上安装的 JDK）
Mac 操作系统更新。Mac OS 10.7.x 和 10.8.0 到 1.8.3 受到影响
文件描述符限制 - 从5000增加到10000
在主以太网接口上完全禁用 IPv6
设置断点并删除受 SocketException 影响的第一个上下文（它们是对 Web 服务的传出 HTTP 调用）。不用找了
配置/etc/hosts使机器主机名解析为 localhost，并将 JVM 选项配置为首选 IPv4 而不是首选 IPv6 地址（此答案：https ://stackoverflow.com/a/16318860/364206 ）

对于那些对主机配置感兴趣的人，它与默认设置相同。我可以在全新安装 10.8 的 Fusion VM 上重现这一点：

##
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting.  Do not change this entry.
##
127.0.0.1   localhost
255.255.255.255 broadcasthost
::1             localhost
fe80::1%lo0 localhost

Java代码调查

由于问题明显具有时间敏感性，设置断点来解决问题会导致问题不会发生。按照评论中的要求，我也捕获arg0了SocksSocketImpl(PlainSocketImpl).socketAccept(SocketImpl)，似乎没有什么不寻常的。

arg0  SocksSocketImpl  (id=460) 
  address InetAddress  (id=465) 
    canonicalHostName null  
    holder  InetAddress$InetAddressHolder  (id=475) 
      address 0 
      family  0 
      hostName  null  
  applicationSetProxy false 
  closePending  false 
  cmdIn null  
  cmdOut  null  
  cmdsock null  
  CONNECTION_NOT_RESET  0 
  CONNECTION_RESET  2 
  CONNECTION_RESET_PENDING  1 
  external_address  null  
  fd  FileDescriptor  (id=713)  
    fd  -1  
    useCount  AtomicInteger  (id=771) 
      value 0 
  fdLock  Object  (id=714)  
  fdUseCount  0 
  localport 0 
  port  0 
  resetLock Object  (id=716)  
  resetState  0 
  server  null  
  serverPort  1080  
  serverSocket  null  
  shut_rd false 
  shut_wr false 
  socket  Socket  (id=718)  
    bound false 
    closed  false 
    closeLock Object  (id=848)  
    connected false 
    created false 
    impl  null  
    oldImpl false 
    shutIn  false 
    shutOut false 
  socketInputStream null  
  stream  false 
  timeout 0 
  trafficClass  0 
  useV4 false

我认为抛出异常的所有线程都是早期调用的受害者，它不会导致 SocketException 所以我无法捕捉到它。能够通过减少启动时间来启动 Tomcat 让我相信触发器可能是一些计划任务，它执行基于套接字的操作，然后影响其他套接字操作。

这并没有解释这如何以及为什么会影响多个线程，无论我们正在做什么来导致这种情况，神秘的 SocketExceptions 不应该从本机代码中冒出来并在多个线程上同时导致这些异常 - 即两个线程反复进行传出 Web 服务调用、Tomcat 等待调用和多个 TP 处理器线程。

JNI代码调查

鉴于通用消息，我假设EINVAL必须从 socketAccept JNI 代码中的系统调用之一返回错误，因此我跟踪导致异常的系统调用；任何系统调用都没有EINVAL返回。EINVAL所以，我去 OpenJDK 的源代码寻找socketAccept代码errno中的条件，这些条件会设置然后抛出一个默认错误信息。EINVALNET_ThrowByNameWithLastErrorNET_ThrowCurrentNET_ThrowNew

就系统调用而言，我们似乎还没有达到接受系统调用的程度：

 PID/THRD        RELATIVE   ELAPSD    CPU SYSCALL(args)    = return
 6606/0x2c750d:  221538243       5      0 sigprocmask(0x1, 0x0, 0x14D8BE100)    = 0x0 0
 6606/0x2c750d:  221538244       3      0 sigaltstack(0x0, 0x14D8BE0F0, 0x0)     = 0 0
 6606/0x2c750d:  221538836      14     10 socket(0x2, 0x1, 0x0)    = 1170 0
 6606/0x2c750d:  221538837       3      0 fcntl(0x492, 0x3, 0x4)     = 2 0
 6606/0x2c750d:  221538839       3      1 fcntl(0x492, 0x4, 0x6)     = 0 0
 6606/0x2c750d:  221538842       5      2 setsockopt(0x492, 0xFFFF, 0x4)     = 0 0
 6606/0x2c750d:  221538852       7      4 bind(0x492, 0x14D8BE5D8, 0x10)     = 0 0
 6606/0x2c750d:  221538857       5      2 listen(0x492, 0x1, 0x4)    = 0 0
 6606/0x2c750d:  221539625       6      2 psynch_cvsignal(0x7FEFBFE00868, 0x10000000200, 0x100)    = 257 0
 6606/0x2c750d:  221539633       4      1 write(0x2, "Apr 18, 2013 11:05:35 AM org.apache.catalina.core.StandardServer await\nSEVERE: StandardServer.await: accept: \njava.net.SocketException: Invalid argument\n\tat java.net.PlainSocketImpl.socketAccept(Native Method)\n\tat java.net.PlainSocketImpl.socketAcce", 0x644)    = 1604 0

所以，我认为问题出现在接受循环顶部的超时处理代码中socketAccept，但我找不到任何NET_Timeout设置errno为的情况EINVAL，并导致抛出此 SocketException。我指的是这段代码；我假设 jdk7u 分支大部分是 Oracle JDK 中附带的：

帮助！

我在 Mac OS 上找不到受此特定问题影响的外界任何人，但几乎这里的每个人都受到影响。一定有一些应用程序配置起作用，但我已经用尽了所有我能想到的方法来找到根本原因。

非常感谢有关故障排除或可能原因的见解的指针。

score 21 · Accepted Answer

您是否尝试过打开JNI 调试-Xcheck:jni？有趣的是，Oracle 文档以PlainSocketImpl.socketAccept错误为例说明何时使用它。

另请注意，错误 7131399的含义是由于 Mac 上的问题，JNIpoll()在大多数平台上使用，但select()在 Mac OSpoll()上使用。所以也许select()也坏了。再深入一点，如果“ndfs 大于 FD_SETSIZE 并且 _DARWIN_UNLIMITED_SELECT 未定义”，则 select() 将返回 EINVAL。FD_SETSIZE 是 1024，听起来你有大量的应用程序正在加载，所以也许它都过滤到一次等待超过 1024 个 FD。

为了获得额外的荣誉，请查看相关的（据称已修复的）Java 错误是否实际上已在您的计算机上修复。错误报告有指向测试用例的指针。

感谢 Old Pro 的回答，我确认select()FD_SETSIZE 限制是原因。我为这个限制找到了一个现有的错误：

https://bugs.openjdk.java.net/browse/JDK-8021820

可以使用以下代码重现该问题：

import java.io.*;
import java.net.*;

public class SelectTest {
  public static void main(String[] args) throws Exception {
    // Use 1024 file descriptors. There'll already be some in use, obviously, but this guarantees the problem will occur
    for(int i = 0; i < 1024; i++) {
      new FileInputStream("/dev/null");
    }
    ServerSocket socket = new ServerSocket(8080);
    socket.accept();
  }
}

差不多一年后，Java 7u60 修复了这个问题：

http://www.oracle.com/technetwork/java/javase/2col/7u60-bugfixes-2202029.html

我还发现 Tomcat 的 WebappClassLoader 会在 90 秒后关闭文件句柄，这就解释了为什么设置断点会阻止问题的发生。

score 1 · Accepted Answer

我遇到了完全相同的问题（使用 Tomcat7），当我在 Eclipse 中运行 tomcat 时，似乎对我有用的是勾选“发布模块上下文以分隔 XML 文件”选项。你已经试过了吗？

score 1 · Accepted Answer

获取带有修复程序的 OpenJDK：

http://www.java.net/download/jdk7u60/archive/b15/binaries/jdk-7u60-ea-bin-b15-macosx-x86_64-16_apr_2014.dmg

为我工作！

score 0 · Accepted Answer

我一直在另一个背景下与这个问题作斗争。从不同来源组合的解决方案如下所示：

使用下一个覆盖更新 /etc/hosts：
- ::1 EWD-MacBook-Pro.local
- 127.0.0.1 EWD-MacBook-Pro.local 本地主机

（EWD-MacBook-Pro.local 是我的机器名）

和

设置系统属性：
- java.net.preferIPv4Stack => true
- java.net.preferIPv6Addresses => false

祝你好运！

tomcat - 由于 Mac OS X 上的“java.net.SocketException Invalid argument”，Tomcat 启动失败

应用程序配置

排除的项目

Java代码调查

JNI代码调查

帮助！

4 回答 4

Related

Reference