7

我已将 cgroups 规则应用于特定用户，我想测试从上述用户运行的程序的内存是否按预期受到限制。我尝试使用以下脚本：

import string
import random

if __name__ == '__main__':
    d = {}
    i = 0;
    for i in range(0, 100000000):
        val = ''.join(random.choice(string.ascii_uppercase + string.digits) for _ in range(200)) # generate ramdom string of size 200
        d[i] = val
        if i % 10000 == 0:
            print i

当我通过命令监控进程时ps，结果是 %MEM 增加到 4.8 并且在 cgroups 服务打开和关闭时从未更改：

$ ps aux | grep mem_intensive.py
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
jason    11531 88.5  4.8 3312972 3191236 pts/0 R+   22:16   0:07 python mem_intensive.py

在这种情况下，总内存为 62GB，因此其中 4.8% 约为 3GB。我将限制设置为 4GB，此用户上没有运行任何其他进程。

那么谁能给我一些关于这个有问题的python脚本的想法？提前致谢。

4

3 回答 3

3

我对你的剧本玩了一点，它一直在增长，尽管速度很慢。瓶颈是使用random.choice. 如果你想快速填满内存，生成随机性对你不利。因此，仅使用固定字符串确实会很快耗尽内存。如果使用以下内容，同时想观察它是如何增长的，你可能会time.sleep()在你的print:

if __name__ == '__main__':
    d = {}
    i = 0;
    for i in range(0, 100000000):
        d[i] = 'A'*1024
        if i % 10000 == 0:
            print(i)

更快地填充内存：

只是一个单行：

['A'*1024 for _ in xrange(0, 1024*1024*1024)]
于 2015-05-29T09:40:12.590 回答
2

如果您想查看 cgroup 是否有效，只需将限制设置为 100MB 并尝试启动脚本。关键不是要查看大限制是否比小限制更好或更差 - 您只是想确保执行限制。为此，一个小的限制就足够了。

为了确保dict按预期增长，您可以使用以下问题的答案打印它的大小：Python 中字典的内存使用情况？

于 2015-05-29T07:38:28.870 回答
0

range在内存中构造一个列表，然后循环遍历该列表，xrange创建一个生成器，该生成器是一个对象，它像序列一样为循环提供数据，但不在内存中构建该序列。引用 Python 文档：rangehttps : //docs.python.org/2/library/functions.html#xrangexrange

在 Python 3 中，由 提供的功能xrange成为内置范围的默认设置。由于这一点，以及 Python 2 中固有的内存优势xrange，我已经看到 Python 2 到 3 的兼容性层映射 Python 2range函数以xrange代替调用，在引擎盖下。

于 2015-05-29T02:40:53.010 回答