11

我一直在根据生成器表达式往往比正常循环更有效的理论进行操作。但后来我遇到了下面的例子：编写一个函数，给定一个数字N和一些因子 ，ps返回所有数字的总和，这些数字N是至少一个因子的倍数。

这是一个循环版本和一个较短的生成器表达式版本：

def loops(N, ps):
    total_sum = 0 
    for i in xrange(N):
        for p in ps: 
            if i%p == 0:
                total_sum += i
                break
    return total_sum

def genexp(N, ps):
    return sum(i for i in xrange(N)
               if any(i%p == 0 for p in ps))

我希望两者的表现大致相同，理解版本可能会快一点，但我没想到的是：

for func in ('loops', 'genexp'):
    print func, timeit.timeit('%s(100000, [3,5,7])' % func, 
                              number=100, 
                              setup='from __main__ import %s' % func)


loops 2.82878184319
genexp 10.1663100719

慢 4 倍甚至不接近！为什么？我有什么误解？

4

1 回答 1

11

首先：生成器表达式是内存高效的，不一定是速度高效的。

您的精简genexp()版速度较慢，原因有两个：

  • 生成器表达式是使用新范围（如新函数）实现的。您正在生产N个新范围，每个any()测试一个。创建一个新作用域并再次将其拆除相对昂贵，尤其是在循环中完成然后与不这样做的代码进行比较时。

  • sum()和any()名称是要查找的附加全局变量。在 的情况下any()，每次测试额外进行N次全局查找。全局变量必须在字典中查找，而局部变量则通过 C 数组中的索引查找（非常快）。

后者只是一个很小的组成部分，大部分成本在于创建和销毁框架（范围）；如果您创建的版本是您获得的功能的本地版本，但性能略有提高_any：_sum

>>> def genexp_locals(N, ps, _any=any, _sum=sum):
...     return _sum(i for i in xrange(N)
...                if _any(i%p == 0 for p in ps))
... 
>>> for func in ('loops', 'genexp', 'genexp_locals'):
...     print func, timeit.timeit('%s(100000, [3,5,7])' % func, 
...                               number=100, 
...                               setup='from __main__ import %s' % func)
... 
loops 2.00835800171
genexp 6.45241594315
genexp_locals 6.23843789101

我没有创建本地 forxrange以保持该方面相同。从技术上讲，_any名称是由生成器表达式代码对象作为闭包而不是本地查找的，它不像全局查找那么慢，但也没有本地查找那么快。

于 2015-09-03T17:47:26.247 回答