4

德拉所有，

我正在使用 openjdk 1.8.0_212-b04、Tomcat 8.0.21 和 Red Hat 6.4。

并且我已经调整了测试web应用程序，确保重新部署后不会出现这样的消息：

WARNING: The web application [Test] appears to have started a thread named [test-job_Worker-1] but has failed to stop it. This is very likely to create a memory leak. Stack trace of thread

这是我在测试中使用的GC参数：

-Xms2G -Xmx4G 
-XX:MaxMetaspaceSize=1G -XX:CompressedClassSpaceSize=300 

-Dsun.rmi.dgc.client.gcInterval=9223372036854775807 
-Dsun.rmi.dgc.server.gcInterval=9223372036854775807 
-XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:GCLogFile Size=10M -XX:NumberOfGCLogFiles=5 -Xloggc:$LOG_HOME/gc-$START_TIME.log

我使用了一个 shell 脚本，不断接触 web.xml 以重新部署 Web 应用程序。测试期间没有其他流量/操作。

这是测试期间VisualVM的元空间图： 在此处输入图像描述

如图所示：在第1点，元空间有时会缩小，所以我认为应该没有元空间内存泄漏。

但是在第 2 点，Tomcat 抛出了元空间 OOM：

14-Jun-2019 09:26:32.184 SEVERE [ContainerBackgroundProcessor[StandardEngine[Catalina]]] org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.run Unexpected death of background thread ContainerBackgroundProcessor[StandardEngine[Catalina]]
 java.lang.OutOfMemoryError: Metaspace
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at org.apache.catalina.loader.WebappClassLoaderBase.findClassInternal(WebappClassLoaderBase.java:2472)
        at org.apache.catalina.loader.WebappClassLoaderBase.findClass(WebappClassLoaderBase.java:854)
        at org.apache.catalina.loader.WebappClassLoaderBase.loadClass(WebappClassLoaderBase.java:1274)
        at org.apache.catalina.loader.WebappClassLoaderBase.loadClass(WebappClassLoaderBase.java:1157)
        at org.apache.logging.log4j.status.StatusLogger.<init>(StatusLogger.java:108)
        at org.apache.logging.log4j.status.StatusLogger.<clinit>(StatusLogger.java:85)
        at org.apache.logging.log4j.web.Log4jServletContextListener.<clinit>(Log4jServletContextListener.java:44)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

在第 3 点，我点击了 VisualVM 中的 GC 按钮，元空间实际上是可收缩的。

我尝试添加参数：-XX:MaxMetaspaceFreeRatio=60，但仍然得到了 smae 结果。

这是 GCeasy 的元空间图： 在此处输入图像描述

这是 GC 日志： GC 日志

感谢您提供任何解决/故障排除/调试 OOM 错误的建议。

更新 1：感谢@samabcde 的建议，我添加了 se.jiderhamn.classloader.leak.prevention.ClassLoaderLeakPreventor 以进行更多测试。它有助于删除一些 ThreadLocal 变量并使 Web 应用程序保持更多时间。

14-Jun-2019 17:44:31.463 INFO [ContainerBackgroundProcessor[StandardEngine[Catalina]]] se.jiderhamn.classloader.leak.prevention.JULLogger.info Custom ThreadLocal of type org.springframework.core.NamedThreadLocal: Prototype beans currently in creation with value null will be remove()d from Thread[ContainerBackgroundProcessor[StandardEngine[Catalina]],5,main]

但仍然得到了元空间OOM。 在此处输入图像描述

4

1 回答 1

5

在一次测试中，我看到 Metaspace 几乎达到了最大值，然后我停下来重新部署 Web 应用程序，并做了一个堆转储，放在 MAT 下进行分析。

正如所料，有很多WebappClassLoader。但我检查了它的GC Roots 路径 | 排除所有 phatom/weak/soft。等参考，它是GC Root。

我检查了它的GC Roots 路径 | 有了所有的引用，那么就有不止一个 GC Roots。 在此处输入图像描述

所以...那些 WebappClassLoader 实际上是 phatom/weak/soft。被其他对象引用，它会在堆中停留一段时间以被释放。

然后我添加 GC 参数：-XX:SoftRefLRUPolicyMSPerMB=10，Web 应用程序可以重新部署超过 1000 次...

所以问题就解决了！

PS。由于我们不会在生产环境中短时间内重新部署 Web 应用程序，因此我们不会使用 -XX:SoftRefLRUPolicyMSPerMB=10。

于 2019-06-15T03:29:35.393 回答