40

在 Python 3 中，列表推导式只是将生成器表达式输入list函数的语法糖吗？

例如是以下代码：

squares = [x**2 for x in range(1000)]

居然在后台转换成下面的？

squares = list(x**2 for x in range(1000))

我知道输出是相同的，并且 Python 3 修复了列表推导所具有的周围命名空间的令人惊讶的副作用，但是就 CPython 解释器在幕后所做的而言，前者是转换为后者，还是有任何区别代码是如何被执行的？

背景

我在这个问题的评论部分发现了这个等价的声明，并且快速的谷歌搜索显示了同样的声明。

在What's New in Python 3.0 文档中也提到了这一点，但措辞有些含糊：

另请注意，列表推导具有不同的语义：它们更接近于 list() 构造函数内的生成器表达式的语法糖，特别是循环控制变量不再泄漏到周围的范围内。

4

4 回答 4

35

两者的工作方式不同。列表理解版本利用了直接LIST_APPEND调用PyList_Append我们的特殊字节码。因此，它避免了list.appendPython 级别的属性查找和函数调用。

>>> def func_lc():
    [x**2 for x in y]
...
>>> dis.dis(func_lc)
  2           0 LOAD_CONST               1 (<code object <listcomp> at 0x10d3c6780, file "<ipython-input-42-ead395105775>", line 2>)
              3 LOAD_CONST               2 ('func_lc.<locals>.<listcomp>')
              6 MAKE_FUNCTION            0
              9 LOAD_GLOBAL              0 (y)
             12 GET_ITER
             13 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             16 POP_TOP
             17 LOAD_CONST               0 (None)
             20 RETURN_VALUE

>>> lc_object = list(dis.get_instructions(func_lc))[0].argval
>>> lc_object
<code object <listcomp> at 0x10d3c6780, file "<ipython-input-42-ead395105775>", line 2>
>>> dis.dis(lc_object)
  2           0 BUILD_LIST               0
              3 LOAD_FAST                0 (.0)
        >>    6 FOR_ITER                16 (to 25)
              9 STORE_FAST               1 (x)
             12 LOAD_FAST                1 (x)
             15 LOAD_CONST               0 (2)
             18 BINARY_POWER
             19 LIST_APPEND              2
             22 JUMP_ABSOLUTE            6
        >>   25 RETURN_VALUE

另一方面，该list()版本只是将生成器对象传递给列表的__init__方法，然后在extend内部调用其方法。由于对象不是列表或元组，CPython 然后首先获取它的迭代器，然后简单地将项目添加到列表中，直到迭代器耗尽：

>>> def func_ge():
    list(x**2 for x in y)
...
>>> dis.dis(func_ge)
  2           0 LOAD_GLOBAL              0 (list)
              3 LOAD_CONST               1 (<code object <genexpr> at 0x10cde6ae0, file "<ipython-input-41-f9a53483f10a>", line 2>)
              6 LOAD_CONST               2 ('func_ge.<locals>.<genexpr>')
              9 MAKE_FUNCTION            0
             12 LOAD_GLOBAL              1 (y)
             15 GET_ITER
             16 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             19 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             22 POP_TOP
             23 LOAD_CONST               0 (None)
             26 RETURN_VALUE
>>> ge_object = list(dis.get_instructions(func_ge))[1].argval
>>> ge_object
<code object <genexpr> at 0x10cde6ae0, file "<ipython-input-41-f9a53483f10a>", line 2>
>>> dis.dis(ge_object)
  2           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                15 (to 21)
              6 STORE_FAST               1 (x)
              9 LOAD_FAST                1 (x)
             12 LOAD_CONST               0 (2)
             15 BINARY_POWER
             16 YIELD_VALUE
             17 POP_TOP
             18 JUMP_ABSOLUTE            3
        >>   21 LOAD_CONST               1 (None)
             24 RETURN_VALUE
>>>

时间比较：

>>> %timeit [x**2 for x in range(10**6)]
1 loops, best of 3: 453 ms per loop
>>> %timeit list(x**2 for x in range(10**6))
1 loops, best of 3: 478 ms per loop
>>> %%timeit
out = []
for x in range(10**6):
    out.append(x**2)
...
1 loops, best of 3: 510 ms per loop

由于属性查找速度较慢，正常循环稍慢。缓存它，然后再一次。

>>> %%timeit
out = [];append=out.append
for x in range(10**6):
    append(x**2)
...
1 loops, best of 3: 467 ms per loop

除了列表推导不再泄漏变量这一事实之外，另一个区别是这样的事情不再有效：

>>> [x**2 for x in 1, 2, 3] # Python 2
[1, 4, 9]
>>> [x**2 for x in 1, 2, 3] # Python 3
  File "<ipython-input-69-bea9540dd1d6>", line 1
    [x**2 for x in 1, 2, 3]
                    ^
SyntaxError: invalid syntax

>>> [x**2 for x in (1, 2, 3)] # Add parenthesis
[1, 4, 9]
>>> for x in 1, 2, 3: # Python 3: For normal loops it still works
    print(x**2)
...
1
4
9
于 2015-05-07T09:50:31.170 回答
13

两种形式都创建并调用匿名函数。但是，list(...)表单创建了一个生成器函数并将返回的生成器迭代器传递给list，而对于[...]表单，匿名函数直接使用操作码构建列表LIST_APPEND。

以下代码获取示例理解的匿名函数的反编译输出及其对应的 genexp-passed-to- list：

import dis

def f():
    [x for x in []]

def g():
    list(x for x in [])

dis.dis(f.__code__.co_consts[1])
dis.dis(g.__code__.co_consts[1])

理解的输出是

  4           0 BUILD_LIST               0
              3 LOAD_FAST                0 (.0)
        >>    6 FOR_ITER                12 (to 21)
              9 STORE_FAST               1 (x)
             12 LOAD_FAST                1 (x)
             15 LIST_APPEND              2
             18 JUMP_ABSOLUTE            6
        >>   21 RETURN_VALUE

genexp 的输出是

  7           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                11 (to 17)
              6 STORE_FAST               1 (x)
              9 LOAD_FAST                1 (x)
             12 YIELD_VALUE
             13 POP_TOP
             14 JUMP_ABSOLUTE            3
        >>   17 LOAD_CONST               0 (None)
             20 RETURN_VALUE
于 2015-05-07T09:14:42.073 回答
5

您实际上可以证明两者可以有不同的结果来证明它们本质上是不同的：

>>> list(next(iter([])) if x > 3 else x for x in range(10))
[0, 1, 2, 3]

>>> [next(iter([])) if x > 3 else x for x in range(10)]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 1, in <listcomp>
StopIteration

推导式中的表达式不被视为生成器，因为推导式不处理StopIteration，而list构造函数处理。

于 2018-08-28T08:49:50.773 回答
-3

它们不一样，list()将在括号中的内容完成执行之后评估给它的内容，而不是之前。

in python 有点神奇，它告诉 python 把里面的[]东西包装成一个列表，更像是语言的类型提示。

于 2018-09-03T17:53:27.627 回答