3

我正在调试 java 应用程序中的本机内存泄漏。RSS 每天增长 1GB,而堆没有增加。在比较 pmap 随时间推移的输出时,我看到多个匿名块被添加到堆顶部或两个本机库之间。

 Address           Kbytes     RSS   Dirty Mode  Mapping
0000000000400000       4       4       0 r-x-- java
0000000000601000       4       4       4 rw--- java
00000000008fc000   64156   64028   64028 rw---   [ anon ]
00000006c0000000 2467840 2466824 2466824 rw---   [ anon ] (heap)
0000000756a00000 2775040       0       0 -----   [ anon ]
0000000800000000   39808   39636   39636 rw---   [ anon ]
00000008026e0000  607360       0       0 -----   [ anon ]
00007fc8f0000000   11268   10944   10944 rw---   [ anon ]
00007fc8f0b01000   54268       0       0 -----   [ anon ]
00007fc938000000   49204   46164   46164 rw---   [ anon ]
00007fc93b00d000   16332       0       0 -----   [ anon ]
00007fc940000000  126784  126784  126784 rw---   [ anon ] 
00007fc947bd0000    4288       0       0 -----   [ anon ]
00007fc948000000   65512   65512   65512 rw---   [ anon ]
.....a lot of new anon blocks with memory 1012 and also ~64MB block shown in screenshot
00007fc98c448000      16      12       0 r-x-- sssd_pac_plugin.so
.....anon blocks with memormy increased over time:
00007fca747fe000    2044       0       0 ----- librmi.so
.....anon blocks with memormy increased over time:
00007fcb58015000      44      32       0 r-x-- libkrb5support.so.0.1
.............................................other libraries
00007fcbad8f8000       4       4       4 rw--- libnio.so
.....anon blocks with memormy increased over time like :
00007fcbb0000000   65420   65404   65404 rw---   [ anon ]
00007fcbc4f7e000    4820    4820    4820 rw---   [ anon ]
00007fcbc5433000    5420       0       0 -----   [ anon ]
00007fcbc597e000   90112   88172   88172 rwx--   [ anon ]
.....anon blocks with memormy increased over time
00007fcbd96ea000      44      16       0 r-x-- libjimage.so
...............................................other libraries
00007fcbdcdd9000       4       4       4 r---- ld-2.17.so
00007fcbdcdda000       4       4       4 rw--- ld-2.17.so
00007fcbdcddb000       4       4       4 rw---   [ anon ]
00007ffdbd52c000     140      40      40 rw---   [ stack ]
00007ffdbd578000       8       8       0 r-x--   [ anon ]
ffffffffff600000       4       0       0 r-x--   [ anon ]
---------------- ------- ------- ------- 
total kB         16585920 9216360 9206356
  1. 我可以说 sssd_pac_plugin.so 和 librmi.so 之间的内存增加是由于其中任何一个造成的吗?这个内存分配是连续的吗? https://i.stack.imgur.com/G1duY.jpg

  2. 在堆的顶部(地址:00007fc940000000 和更大)创建了很多新的内存块,范围从 126MB 到 1MB(100 个小 1MB 块附加图像供参考)。它们是表示一些内存泄漏还是只是为每个新线程创建的。

在此处输入图像描述

  1. 为了查看这些块中的数据,我尝试了下面的代码片段,但我总是没有从中得到任何字符串。它都是二进制的,我无法解释。有没有办法将其转换为字符串?或映射到任何线程/库或我可以使用的任何东西。
gdb -pid <pid>
dump memory mem.bin 0x00007fc940000000  0x00007fc940000000+126784  
#read file as:
strings mem.bin

另一个观察结果是,许多新块和旧块增加到大约 60-65MB。这些块的数量随着时间的推移而增加很多。对 rss 增加的贡献最大。 https://i.stack.imgur.com/xueC8.png https://i.stack.imgur.com/hwbAb.jpg

我也尝试了 libtcmalloc 和分析器,主要问题是在生产环境中我无法使用它们。在开发实例上,泄漏并不那么严重,因此无法验证分析器的输出。

4

1 回答 1

3

一个非常基本的方法:您可以尝试查看谁在打电话mmap(而不是munmap)。

  • 附加到过程
  • 在 上设置断点mmap,使用命令打印参数和回溯(可能是 5 帧)并继续
  • 类似的事情munmap
  • 重定向输出
  • 让它运行一天
  • 分离
  • mmaps 与munmap输出中的 s 匹配

通过pmap定期运行,您可以将较新的匿名区域与mmap回溯匹配(可能需要调整帧数)。


已经有这篇不错的小文章LINUX GDB: IDENTIFY MEMORY LEAKS帮助您入门。

笔记:

  • 您正在寻找mmapand munmap,而不是mallocandfree
  • 你将不得不找出回报的偏移量mmap
  • 我没有尝试过文章中的脚本,但我认为它会按照文章声称的那样做

查找mmap返回指令偏移量(从 开始mmap):只需gdb使用同一主机上的任何可执行文件启动

[ aquila ~ ] $ gdb -q /usr/bin/ls
Reading symbols from /usr/bin/ls...Reading symbols from /usr/bin/ls...(no debugging symbols found)...done
.
(no debugging symbols found)...done.
Missing separate debuginfos, use: dnf debuginfo-install coreutils-8.27-5.fc26.x86_64
(gdb) set pagination off
(gdb) set breakpoint pending on
(gdb) b mmap
Function "mmap" not defined.
Breakpoint 1 (mmap) pending.
(gdb) r
Starting program: /usr/bin/ls

Breakpoint 1, 0x00007ffff7df2940 in mmap64 () from /lib64/ld-linux-x86-64.so.2
(gdb) disassemble
Dump of assembler code for function mmap64:
=> 0x00007ffff7df2940 <+0>:     test   %rdi,%rdi
   0x00007ffff7df2943 <+3>:     push   %r15
   0x00007ffff7df2945 <+5>:     mov    %r9,%r15
    :
    :
   0x00007ffff7df2973 <+51>:    mov    $0x9,%eax
    :
   0x00007ffff7df2982 <+66>:    pop    %rbx
    :
   0x00007ffff7df298a <+74>:    pop    %r15
   0x00007ffff7df298c <+76>:    retq
   0x00007ffff7df298d <+77>:    nopl   (%rax)
    :
    :
   0x00007ffff7df29d8 <+152>:   mov    $0xffffffffffffffff,%rax
   0x00007ffff7df29df <+159>:   jmp    0x7ffff7df2982 <mmap64+66>
End of assembler dump.

注意这里的返回指令:

0x00007ffff7df298c <+76>:    retq

因此,在我的机器上,必须将第二个断点设置为 (mmap+76)。

一旦你确定了这个偏移量,你就可以通过附加到你的目标进程并分解那个偏移量的东西来验证这个偏移量。例如,将我当前的 shell 作为我的目标进程:

[ aquila ~ ] $ echo $$
9769
[ aquila ~ ] $ gdb -q
(gdb) attach 9769
Attaching to process 9769
Reading symbols from /usr/bin/bash...Reading symbols from /usr/bin/bash...(no debugging symbols found)..
.done.
(no debugging symbols found)...done.
Reading symbols from /lib64/libtinfo.so.6...Reading symbols from /lib64/libtinfo.so.6...(no debugging sy
mbols found)...done.
(no debugging symbols found)...done.
Reading symbols from /lib64/libdl.so.2...(no debugging symbols found)...done.
Reading symbols from /lib64/libc.so.6...(no debugging symbols found)...done.
Reading symbols from /lib64/ld-linux-x86-64.so.2...(no debugging symbols found)...done.
Reading symbols from /lib64/libnss_files.so.2...(no debugging symbols found)...done.
0x00007fcfc67cc18a in waitpid () from /lib64/libc.so.6
Missing separate debuginfos, use: dnf debuginfo-install bash-4.4.12-5.fc26.x86_64
(gdb) x/i mmap+76
   0x7fcfc680375c <mmap64+76>:  retq

我不太确定hbreak是否需要,普通的旧break版本也可以。

于 2020-04-05T10:50:12.497 回答