7

我一直在试验一个进行模式匹配的类。我的班级看起来像这样：

class Matcher(object):
  def __init__(self, pattern):
    self._re = re.compile(pattern)

  def match(self, value):
    return self._re.match(value)

总而言之，我的脚本运行大约需要 45 秒。作为实验，我将代码更改为：

class Matcher(object):
  def __init__(self, pattern):
    self._re = re.compile(pattern)
    self.match = self._re.match

运行此脚本需要 37 秒。无论我重复这个过程多少次，我都看到了同样显着的性能提升。通过 cProfile 运行它会显示如下内容：

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
 46100979   14.356    0.000   14.356    0.000 {method 'match' of '_sre.SRE_Pattern' objects}
 44839409    9.287    0.000   20.031    0.000 matcher.py:266(match)

为什么 match 方法在运行时间上增加了 9.2 秒？最令人沮丧的部分是我试图重新创建一个简单的案例并且无法做到。我在这里想念什么？我的简单测试用例有一个错误！现在它模仿了我看到的行为：

import re
import sys
import time

class X(object):
  def __init__(self):
    self._re = re.compile('.*a')

  def match(self, value):
    return self._re.match(value)

class Y(object):
  def __init__(self):
    self._re = re.compile('ba')
    self.match = self._re.match

inp = 'ba'
x = X()
y = Y()

sys.stdout.write("Testing with a method...")
sys.stdout.flush()
start = time.time()
for i in range(100000000):
  m = x.match(inp)
end = time.time()
sys.stdout.write("Done: "+str(end-start)+"\n")

sys.stdout.write("Testing with an attribute...")
sys.stdout.flush()
start = time.time()
for i in range(100000000):
  m = y.match(inp)
end = time.time()
sys.stdout.write("Done: "+str(end-start)+"\n")

输出：

$ python speedtest.py 
Testing with a method...Done: 50.6646981239
Testing with an attribute...Done: 35.5526258945

作为参考，使用 pyp 两者都快得多，但在使用属性而不是方法运行时仍然显示出显着的收益：

$ pypy speedtest.py 
Testing with a method...Done: 6.15996003151
Testing with an attribute...Done: 3.57215714455
4

2 回答 2

8

这可能主要是附加函数调用的开销。调用 Python 函数在性能方面相对昂贵，因为需要设置额外的堆栈框架等。这是一个展示类似性能的简单示例：

>>> timeit.timeit("f()", "g = (lambda: 1); f = lambda: g()")
0.2858083918486847
>>> timeit.timeit("f()", "f = lambda: 1")
0.13749289364989004

在您的方法中执行两个额外的属性查找还有额外的成本：查找_re，self然后查找match该_re对象。但是，这可能是一个较小的组件，因为在 Python 中字典查找非常快。（我timeit上面的例子显示了相当糟糕的性能，即使在双重调用版本中只有一个额外的名称查找。）

于 2012-09-07T19:35:18.140 回答
0

第一个版本每次都是额外的函数调用。这会产生一些开销。

于 2012-09-07T19:33:58.767 回答