试图调试行为不端的 Java 虚拟机。有问题的进程是一个在 Centos 5 上运行 Sun VM 1.6u24 的大型 VM（100GB 堆），它正在执行日常后端工作——即数据库访问、文件 I/O 等。
在重新启动该过程以进行软件版本升级后，我们注意到其吞吐量已显着下降。大多数时候，top 报告 Java 进程正在充分利用 2 个内核。在此期间，VM 完全不负责任：不写入日志，也不响应外部工具，例如 jstack 或 kill -3。VM 恢复后，该过程将照常继续，直到下一次挂起。
strace 显示在这些挂起期间，只有 2 个线程进行系统调用。这些是 VM 线程“VM Thread”（21776）和“VM Periodic Task Thread”（21786）。据推测，这 2 个线程正在耗尽 CPU 时间。应用程序线程偶尔会醒来并完成它们的工作。其余时间他们似乎在等待各种 futex。顺便说一句，正常阶段的第一行始终是 SIGSEGV。
[pid 21776] sched_yield() = 0
[pid 21776] sched_yield() = 0
[pid 21776] sched_yield( <unfinished ...>
[pid 21786] <... futex resumed> ) = -1 ETIMEDOUT (Connection timed out)
[pid 21776] <... sched_yield resumed> ) = 0
[pid 21786] futex(0x2aabac71ef28, FUTEX_WAKE_PRIVATE, 1 <unfinished ...>
[pid 21776] sched_yield( <unfinished ...>
[pid 21786] <... futex resumed> ) = 0
[pid 21786] clock_gettime(CLOCK_MONOTONIC, {517080, 280918033}) = 0
[pid 21786] clock_gettime(CLOCK_REALTIME, {1369750039, 794028000}) = 0
[pid 21786] futex(0x2aabb81b94c4, FUTEX_WAIT_PRIVATE, 1, {0, 49923000} <unfinished ...>
[pid 21776] <... sched_yield resumed> ) = 0
[pid 21776] sched_yield() = 0
[pid 21776] sched_yield() = 0
[pid 21955] --- SIGSEGV (Segmentation fault) @ 0 (0) ---
[pid 21955] rt_sigreturn(0x2b1cde2f54ad <unfinished ...>
问题表现在 2 台不同的服务器上。回滚我们的代码版本仅适用于两台服务器中的一台。系统日志中没有报告错误消息，并且受影响机器上的另一个 Java 进程运行正常。
以下输出是使用 gstack 获得的，显示了 2 个典型的等待应用程序线程：
Thread 552 (Thread 0x4935f940 (LWP 21906)):
#0 0x00000030b040ae00 in pthread_cond_timedwait@@GLIBC_2.3.2 () from /lib64/libpthread.so.0
#1 0x00002b1cdd8548d6 in os::PlatformEvent::park(long) () from /usr/lib/jvm/java/jre/lib/amd64/server/libjvm.so
#2 0x00002b1cdd92b230 in ObjectMonitor::wait(long, bool, Thread*) () from /usr/lib/jvm/java/jre/lib/amd64/server/libjvm.so
#3 0x00002b1cdd928853 in ObjectSynchronizer::wait(Handle, long, Thread*) () from /usr/lib/jvm/java/jre/lib/amd64/server/libjvm.so
#4 0x00002b1cdd69b716 in JVM_MonitorWait () from /usr/lib/jvm/java/jre/lib/amd64/server/libjvm.so
#5 0x00002b1cde193cc8 in ?? ()
#6 0x00002b1ce2552d90 in ?? ()
#7 0x00002b1cdd84fc23 in os::javaTimeMillis() () from /usr/lib/jvm/java/jre/lib/amd64/server/libjvm.so
#8 0x00002b1cde188a82 in ?? ()
#9 0x0000000000000000 in ?? ()
Thread 551 (Thread 0x49460940 (LWP 21907)):
#0 0x00000030b040ab99 in pthread_cond_wait@@GLIBC_2.3.2 () from /lib64/libpthread.so.0
#1 0x00002b1cdd854d6f in Parker::park(bool, long) () from /usr/lib/jvm/java/jre/lib/amd64/server/libjvm.so
#2 0x00002b1cdd98a1c8 in Unsafe_Park () from /usr/lib/jvm/java/jre/lib/amd64/server/libjvm.so
#3 0x00002b1cde193cc8 in ?? ()
#4 0x000000004945f798 in ?? ()
#5 0x00002b1cde188a82 in ?? ()
#6 0x0000000000000000 in ?? ()
我们查看了 NTPD 的问题，包括闰秒错误，但建议的解决方法没有帮助，使用外部 NTPD 服务器也没有帮助。重新启动机器本身也没有帮助。我们启用了 GC 日志记录，它看起来不是 GC 问题，因为没有消息表明它。寻找任何可以帮助解决这个问题的建议，非常感谢任何帮助。