1

最近我正在使用 python 来处理一些百万大小的列表。

这里我有一个列表E，它有 1,470,000 个元素，每个元素是一个包含 2 个整数的列表。

E 看起来像：[[1, 3], [2, 4], [4, 7] ... ]

我想分别获得第一列和第二列的最大数量。

我可以通过使用列表理解来获得它

m1 = max([e[0] for e in E])
m2 = max([e[1] for e in E])
return (m1, m2)

另一种方法是使用 zip：

list(map(max, zip(*E)))

乍一看，我认为第二种方式应该更快，因为列表理解将构建一个大列表（更重要的是，两次）。但事实证明列表理解非常快，使用 zip 的方法慢了大约 10 到 20 倍（使用 cProfile）。

我认为 zip 不应该那么慢，（更重要的是，列表理解怎么会那么快？）有人能告诉我原因吗？

我正在使用 python 3.2

PS通过使用Windows任务管理器，我什至看不到任何内存跟踪表明python曾经创建过一个新列表。一定有黑魔法。

4

1 回答 1

6

我已经使用 Python 2.7.3 和 3.3.0 测试了多种方法，但我无法重现您的结果。

以下时序来自 Python 2.7.3（来自 3.3.0 的结果类似）：

In [31]: E = [(random.randrange(0,1000),random.randrange(0,1000)) for _ in range(1470000)]

In [32]: %timeit max([e[0] for e in E]), max([e[1] for e in E])
1 loops, best of 3: 319 ms per loop

In [33]: %timeit max(e[0] for e in E), max(e[1] for e in E)
1 loops, best of 3: 343 ms per loop

In [36]: %timeit max(E, key=operator.itemgetter(0)), max(E, key=operator.itemgetter(1))
1 loops, best of 3: 314 ms per loop

In [38]: %timeit list(map(max, zip(*E)))
1 loops, best of 3: 307 ms per loop

我测试过的所有方法都具有大致相同的性能。

如果你关心性能，你应该考虑使用 NumPy：

In [39]: import numpy as np

In [40]: EE = np.array(E)

In [46]: %timeit EE.max(axis=0)
100 loops, best of 3: 3.21 ms per loop

如您所见，在这个数据集numpy.max()上比我尝试过的任何纯 Python 方法快大约 100 倍。

于 2012-12-18T09:08:03.783 回答