41

我尝试使用 line_profiler 模块来获取 Python 文件的逐行配置文件。这是我到目前为止所做的：

1）使用.exe文件从pypi安装line_profiler （我在WinXP和Win7上）。只需单击安装向导。

2）编写一小段代码（类似于此处另一个已回答的问题中所问的内容）。

from line_profiler import LineProfiler
def do_stuff(numbers):
    print numbers

numbers = 2
profile = LineProfiler(do_stuff(numbers))
profile.print_stats()

3) 从 IDLE/PyScripter 运行代码。我只有时间。

Timer unit: 4.17188e-10 s

如何获得我执行的代码的完整的逐行配置文件？我从未使用过任何高级 Python 功能，如装饰器，所以我很难理解如何使用这里和这里等几篇文章提供的指南。

4

5 回答 5

72

这个答案是我的答案的副本，关于如何line_profiler从 Python 脚本中获取统计信息（无需kernprof从命令行使用或不必向@profile函数和类方法添加装饰器）。类似问题的所有答案（我见过）line_profiler仅描述使用kernprof.

line_profiler测试用例（在GitHub上找到）有一个如何从 Python 脚本中生成配置文件数据的示例。您必须包装要分析的函数，然后调用包装器传递任何所需的函数参数。

from line_profiler import LineProfiler
import random

def do_stuff(numbers):
    s = sum(numbers)
    l = [numbers[i]/43 for i in range(len(numbers))]
    m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()

输出：

Timer unit: 1e-06 s

Total time: 0.000649 s
File: <ipython-input-2-2e060b054fea>
Function: do_stuff at line 4

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     4                                           def do_stuff(numbers):
     5         1           10     10.0      1.5      s = sum(numbers)
     6         1          186    186.0     28.7      l = [numbers[i]/43 for i in range(len(numbers))]
     7         1          453    453.0     69.8      m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

向配置文件添加附加功能

此外，您还可以添加要分析的其他功能。例如，如果您有第二个被调用函数并且只包装调用函数，您将只能看到调用函数的配置文件结果。

from line_profiler import LineProfiler
import random

def do_other_stuff(numbers):
    s = sum(numbers)

def do_stuff(numbers):
    do_other_stuff(numbers)
    l = [numbers[i]/43 for i in range(len(numbers))]
    m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()

以上只会为调用函数产生以下配置文件输出：

Timer unit: 1e-06 s

Total time: 0.000773 s
File: <ipython-input-3-ec0394d0a501>
Function: do_stuff at line 7

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     7                                           def do_stuff(numbers):
     8         1           11     11.0      1.4      do_other_stuff(numbers)
     9         1          236    236.0     30.5      l = [numbers[i]/43 for i in range(len(numbers))]
    10         1          526    526.0     68.0      m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

在这种情况下，您可以像这样将额外的调用函数添加到配置文件中：

from line_profiler import LineProfiler
import random

def do_other_stuff(numbers):
    s = sum(numbers)

def do_stuff(numbers):
    do_other_stuff(numbers)
    l = [numbers[i]/43 for i in range(len(numbers))]
    m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp.add_function(do_other_stuff)   # add additional function to profile
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()

输出：

Timer unit: 1e-06 s

Total time: 9e-06 s
File: <ipython-input-4-dae73707787c>
Function: do_other_stuff at line 4

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     4                                           def do_other_stuff(numbers):
     5         1            9      9.0    100.0      s = sum(numbers)

Total time: 0.000694 s
File: <ipython-input-4-dae73707787c>
Function: do_stuff at line 7

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     7                                           def do_stuff(numbers):
     8         1           12     12.0      1.7      do_other_stuff(numbers)
     9         1          208    208.0     30.0      l = [numbers[i]/43 for i in range(len(numbers))]
    10         1          474    474.0     68.3      m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

注意：以这种方式将功能添加到配置文件不需要更改配置文件的代码（即，不需要添加@profile装饰器）。

于 2017-04-12T19:06:06.903 回答
20
于 2014-05-27T12:01:02.347 回答
3

加载 line_profiler 和 numpy

%load_ext line_profiler
import numpy as np

定义一个函数，例如：

def take_sqr(array):
    sqr_ar = [np.sqrt(x) for x in array]
    return sqr_ar

使用 line_profiler 计算时间如下：

%lprun -f take_sqr take_sqr([1,2,3])

输出如下所示：

Timer unit: 1e-06 s
 
Total time: 6e-05 s File: <ipython-input-5-e50c1b05a473> Function:
take_sqr at line 1

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     1                                           def take_sqr(array):
     2         4         59.0     14.8     98.3      sqr_ar = [np.sqrt(x) for x in array]
     3         1          1.0      1.0      1.7      return sqr_ar
于 2021-05-07T05:44:04.227 回答
2

如果您使用的是 PyCharm，还可以查看 https://plugins.jetbrains.com/plugin/16536-line-profiler

这是我创建的一个插件，它允许您将线分析器结果加载并可视化到 PyCharm 编辑器中。

于 2021-04-24T09:23:26.063 回答
1

找到了line_profiler使用装饰器的一个很好的用途，即@profile对我有用：

def profile(func):
    from functools import wraps

    @wraps(func)
    def wrapper(*args, **kwargs):
        from line_profiler import LineProfiler
        prof = LineProfiler()
        try:
            return prof(func)(*args, **kwargs)
        finally:
            prof.print_stats()

    return wrapper

学分：pavelpatrin

于 2021-11-01T02:50:14.740 回答