6

我对特定 python 脚本的内存使用情况感到非常困惑。我想我真的不知道如何描述使用情况，尽管有几个 SO Questions/ Answers的建议。

我的问题是：和有什么区别？为什么一个告诉我我正在使用大量内存，而另一个告诉我我没有？memory_profilerguppy.hpy

我正在使用pysam一个用于访问生物信息学 SAM/BAM 文件的库。在将 SAM（ASCII）转换为 BAM（二进制）并在其间操作文件时，我的主脚本很快就会耗尽内存。

我创建了一个小测试示例来了解在每个步骤中分配了多少内存。

# test_pysam.py: 

import pysam
#from guppy import hpy

TESTFILENAME = ('/projectnb/scv/yannpaul/MAR_CEJ082/' +
                'test.sam')
#H = hpy()

@profile # for memory_profiler
def samopen(filename):
#    H.setrelheap()
    samf = pysam.Samfile(filename)
#    print H.heap()
    pass


if __name__ == "__main__":
    samopen(TESTFILENAME)

使用 memory_profiler ( python -m memory_profiler test_pysam.py) 监控内存使用情况会产生以下输出：

Filename: test_pysam.py

Line #    Mem usage    Increment   Line Contents
================================================
    10                             @profile # for memory_profiler
    11                             def samopen(filename):
    12     10.48 MB      0.00 MB   #    print H.setrelheap()
    13    539.51 MB    529.03 MB       samf = pysam.Samfile(filename)
    14                             #    print H.heap()
    15    539.51 MB      0.00 MB       pass

然后注释掉@profile装饰器并取消注释guppy相关行，我得到以下输出（python test_pysam.py）：

Partition of a set of 3 objects. Total size = 624 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0      1  33      448  72       448  72 types.FrameType
     1      1  33       88  14       536  86 __builtin__.weakref
     2      1  33       88  14       624 100 csamtools.Samfile

第 13 行的总大小在一种情况下为 529.03 MB，在另一种情况下为 624 字节。这里到底发生了什么？'test.sam' 是一个约 52MB 的 SAM（还是 ASCII 格式）文件。深入研究 对我来说有点棘手pysam，因为它是与samtools. 不管 aSamfile实际上是什么，我认为我应该能够了解分配了多少内存来创建它。我应该使用什么程序来正确分析更大、更复杂的 python 程序的每个步骤的内存使用情况？

4

1 回答 1

9

memory_profiler 和 guppy.hpy 有什么区别？

您了解堆的内部视图和操作系统的程序外部视图之间的区别吗？（例如，当 Python 解释器调用free1MB 时，由于多种原因，它不会立即（甚至可能永远不会）将 1MB 的页面返回给操作系统。）如果你这样做了，那么答案很简单：memory_profiler 是向操作系统询问您的内存使用情况；guppy 正在内部从堆结构中找出它。

除此之外，memory_profiler 有一个 guppy 没有的特性——自动检测你的函数以在每一行代码之后打印报告；它在其他方面更简单，更容易但不太灵活。如果你知道你想做某件事而 memory_profiler 似乎没有做，它可能做不到；与孔雀鱼，也许它可以，所以研究文档和源代码。

为什么一个告诉我我正在使用大量内存，而另一个告诉我我没有？

很难确定，但这里有一些猜测；答案很可能是多个的组合：

也许 samtools 使用 mmap 将足够小的文件完全映射到内存中。这会增加文件大小的页面使用量，但根本不会增加堆使用量。

也许 samtools 或 pysam 会创建很多快速释放的临时对象。您可能有很多碎片（每个页面上只有几个实时 PyObjects），或者您的系统的 malloc 可能已经决定它应该在其空闲列表中保留大量节点，因为您一直在分配，或者它可能没有返回页面到操作系统，或者操作系统的虚拟机可能没有回收返回的页面。确切的原因几乎总是无法猜测；最简单的做法是假设释放的内存永远不会返回。

我应该使用什么程序来正确分析更大、更复杂的 python 程序的每个步骤的内存使用情况？

If you're asking about memory usage from the OS point of view, memory_profiler is doing exactly what you want. While major digging into pysam may be difficult, it should be trivial to wrap a few of the functions with the @profile decorator. Then you'll know which C functions are responsible for memory; if you want to dig any deeper, you obviously have to profile at the C level (unless there's information in the samtools docs or from the samtools community).

于 2012-09-21T17:36:44.370 回答