13

我正在对 tomcat 服务器执行负载测试。服务器有 10G 物理内存和 2G 交换空间。堆大小(xms 和 xmlx)之前设置为 3G,服务器运行良好。由于我仍然看到剩余的可用内存很多且性能不佳,我将堆大小增加到 7G 并再次运行负载测试。这次我观察到物理内存很快被吃光了,系统开始消耗交换空间。后来tomcat用完swap空间就崩溃了。我-XX:+HeapDumpOnOutOfMemoryError在启动 tomcat 时包括在内,但没有得到任何堆转储。当我检查/var/log/messages时,我看到了kernel: Out of memory: Kill process 2259 (java) score 634 or sacrifice child

top为了提供更多信息,当堆大小设置为 3G 和 7G 时,这是我从 Linux 命令中看到的

xms&xmx = 3G(效果很好):

  • 启动tomcat之前:

    Mem:  10129972k total,  1135388k used,  8994584k free,    19832k buffers
    Swap:  2097144k total,        0k used,  2097144k free,    56008k cached
    
  • 启动tomcat后:

    Mem:  10129972k total,  3468208k used,  6661764k free,    21528k buffers
    Swap:  2097144k total,        0k used,  2097144k free,   143428k cached
    PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
    2257 tomcat    20   0 5991m 1.9g  19m S 352.9 19.2   3:09.64 java
    
  • 开始加载 10 分钟后:

    Mem:  10129972k total,  6354756k used,  3775216k free,    21960k buffers
    Swap:  2097144k total,        0k used,  2097144k free,   144016k cached
    PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
    2257 tomcat    20   0 6549m 3.3g  10m S 332.1 34.6  16:46.87 java
    

xms&xmx = 7G(导致tomcat崩溃):

  • 启动tomcat之前:

    Mem:  10129972k total,  1270348k used,  8859624k free,    98504k buffers
    Swap:  2097144k total,        0k used,  2097144k free,    74656k cached
    
  • 启动tomcat后:

    Mem:  10129972k total,  6415932k used,  3714040k free,    98816k buffers
    Swap:  2097144k total,        0k used,  2097144k free,   144008k cached
    PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
    2310 tomcat    20   0  9.9g 3.5g  10m S  0.3 36.1   3:01.66 java
    
  • 开始加载 10 分钟后(就在 tomcat 被杀死之前):

    Mem:  10129972k total,  9960256k used,   169716k free,      164k buffers
    Swap:  2097144k total,  2095056k used,     2088k free,     3284k cached
    PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
    2310 tomcat    20   0 10.4g 5.3g  776 S  9.8 54.6  14:42.56 java
    

Java 和 JVM 版本:

Java(TM) SE Runtime Environment (build 1.7.0_21-b11)
Java HotSpot(TM) 64-Bit Server VM (build 23.21-b01, mixed mode)

雄猫版本:

6.0.36

Linux 服务器:

Red Hat Enterprise Linux Server release 6.4 (Santiago)

所以我的问题是:

  1. 为什么会出现这个问题?当 JVM 内存不足时,为什么没有抛出 OutOfMemoryError?为什么它直接使用交换?
  2. 为什么top RES显示java正在使用5.3G内存,消耗的内存更多?

我一直在调查和寻找一段时间,仍然找不到这个问题的根本原因。非常感谢!

4

2 回答 2

9

为什么会出现这个问题?当 JVM 内存不足时,为什么没有抛出 OutOfMemoryException?

内存不足的不是 JVM。是主机操作系统耗尽了与内存相关的资源,正在采取激烈的行动。操作系统无法知道进程(在本例中为 JVM)在响应更多内存请求时被告知“否”时能够以有序的方式关闭。它必须硬杀某些东西,否则整个操作系统都会挂起的严重风险。

无论如何,您没有看到 OOME 的原因是这不是 OOME 情况。实际上,JVM已经被操作系统给了太多的内存,没有办法收回。这就是操作系统必须通过硬杀进程来处理的问题。

为什么它直接使用交换?

它使用交换,因为整个系统的总虚拟内存需求不适合物理内存。这是 UNIX / Linux 操作系统的正常行为。

为什么top RES显示java正在使用5.3G内存,消耗的内存要多得多

RES 数字可能有点误导。他们指的是进程当前正在使用的物理内存量......不包括与其他进程共享或可共享的东西。VIRT 编号与您的问题更相关。它说您的 JVM 正在使用 10.4g 的虚拟内存……这系统上可用的物理内存还多。


正如另一个答案所说,令人担忧的是,您没有获得 OOME。即使你确实得到了一个,用它做任何事情都是不明智的。OOME 可能会对您的应用程序/容器造成难以检测且难以恢复的附带损害。这就是为什么 OOMEError不是Exception.


建议:

  • 不要试图使用比物理内存多得多的虚拟内存,尤其是在 Java 中。当 JVM 运行完整的垃圾回收时,它将以随机顺序多次访问其大部分VM 页面。如果您过度分配了内存,这很可能会导致抖动,从而降低整个系统的性能。

  • 请增加系统的交换空间。(但这可能无济于事......)

  • 不要试图从 OOME 中恢复。

于 2013-06-20T00:02:40.623 回答
1

您可能在同一台计算机上还有其他进程也使用内存。在机器严重耗尽 RAM 和交换之前,您的 java 进程似乎达到了大约 5.3GB。(然后其他进程可能使用 12GB-5.3GB = 6.7GB)所以你的 linux 内核牺牲了你的 java 进程来保持其他进程的运行。永远不会达到 Java 内存限制,因此您不会收到 OutOfMemoryException。

考虑您需要在整台机器上运行的所有进程,并相应地调整 Xmx 设置(足以为所有其他进程留出空间)。也许5GB?

在任何情况下,计算 OutOfMemoryExceptions 被传递是一种非常糟糕的代码气味。如果我没记错的话,即使是单个 OutOfMemoryException 也会使 JVM 处于“所有赌注都关闭”状态,并且可能应该重新启动以免变得不稳定。

于 2013-06-19T23:46:18.530 回答