3

在 itertools 的 python 文档中，它提供了以下用于推进迭代器 n 步骤的“配方”：

def consume(iterator, n):
    "Advance the iterator n-steps ahead. If n is none, consume entirely."
    # Use functions that consume iterators at C speed.
    if n is None:
        # feed the entire iterator into a zero-length deque
        collections.deque(iterator, maxlen=0)
    else:
        # advance to the empty slice starting at position n
        next(islice(iterator, n, n), None)

我想知道为什么这个配方与这样的东西根本不同（除了消耗整个迭代器的处理）：

def other_consume(iterable, n):
    for i in xrange(n):
        next(iterable, None)

我曾经timeit确认，正如预期的那样，上述方法要慢得多。允许这种卓越性能的配方中发生了什么？我知道它使用了islice，但是看着islice，它似乎在做与上面的代码基本相同的事情：

def islice(iterable, *args):
    s = slice(*args)
    it = iter(xrange(s.start or 0, s.stop or sys.maxint, s.step or 1))
    nexti = next(it)
    ### it seems as if this loop yields from the iterable n times via enumerate
    ### how is this different from calling next n times?
    for i, element in enumerate(iterable): 
        if i == nexti:
            yield element
            nexti = next(it)

注意：即使不是islice从itertools我使用上面显示的文档中的 python 等效项来定义它，配方仍然更快..

编辑：timeit这里的代码：

timeit.timeit('a = iter([random() for i in xrange(1000000)]); consume(a, 1000000)', setup="from __main__ import consume,random", number=10)
timeit.timeit('a = iter([random() for i in xrange(1000000)]); other_consume(a, 1000000)', setup="from __main__ import other_consume,random", number=10)

other_consume每次我运行它时慢 2.5 倍

4

2 回答 2

6

配方更快的原因是它的关键部分（islice, deque）是用 C 实现的，而不是用纯 Python 实现的。部分原因是 C 循环比for i in xrange(n). 另一部分是 Python 函数调用（例如next()）比它们的 C 等价物更昂贵。

您从文档中复制的版本itertools.islice不正确，它的性能显然很棒，因为使用它的消费函数不会消费任何东西。（出于这个原因，我没有在下面显示该版本的测试结果，尽管它非常快！:)

这里有几个不同的实现，所以我们可以测试什么是最快的：

import collections
from itertools import islice

# this is the official recipe
def consume_itertools(iterator, n):
    "Advance the iterator n-steps ahead. If n is none, consume entirely."
    # Use functions that consume iterators at C speed.
    if n is None:
        # feed the entire iterator into a zero-length deque
        collections.deque(iterator, maxlen=0)
    else:
        # advance to the empty slice starting at position n
        next(islice(iterator, n, n), None)

# your initial version, using a for loop on a range
def consume_qwwqwwq(iterator, n):
    for i in xrange(n):
        next(iterator, None)

# a slightly better version, that only has a single loop:
def consume_blckknght(iterator, n):
    if n <= 0:
        return
    for i, v in enumerate(iterator, start=1):
        if i == n:
            break

我的系统上的计时（Windows 7 上的 Python 2.7.3 64 位）：

>>> test = 'consume(iter(xrange(100000)), 1000)'
>>> timeit.timeit(test, 'from consume import consume_itertools as consume')
7.623556181657534
>>> timeit.timeit(test, 'from consume import consume_qwwqwwq as consume')
106.8907442334584
>>> timeit.timeit(test, 'from consume import consume_blckknght as consume')
56.81081856366518

我的评估是，一个几乎空的 Python 循环的运行时间比 C 中的等效循环长七到八倍。一次循环两个序列（就像在 上的循环之外consume_qwwqwwq调用 next on一样）使成本大约翻倍.iteratorforxrange

于 2013-05-18T23:18:37.573 回答
0

上的文档itertools.islice()有缺陷，不能start == stop正确处理边缘情况。它正是consume()使用的那种边缘情况。

因为islice(it, n, n), 正是n元素被消耗了，it但什么都没有产生。相反，在这些元素被消耗StopIteration后引发。n

另一方面，您用来测试的 Python 版本会立即提升StopIteration，而无需使用. it这使得针对这个纯 python 版本的任何计时都不正确并且太快了。

这是因为xrange(n, n, 1)迭代器立即引发StopIteration：

>>> it = iter(xrange(1, 1))
>>> print next(it)
Traceback (most recent call last):
  File "prog.py", line 4, in <module>
    print next(it)
StopIteration
于 2013-05-18T23:49:49.717 回答