0

鉴于 Python 对缓冲协议的接口可以帮助减少制作临时数据副本的需要，我决定根据这个问题的答案memoryview对它进行快速测试。

import time

expressions = ['list(b[i:i+1000])',
               'list(b[i:])',
               'b[i:]'
              ]

size = 1000000
x = b'x'*size
mv = memoryview(x)
for e in expressions:
    print(f"Expression: {e}")
    for b in (x, mv):
        l = len(b)
        start = time.time()
        for i in range(0, l, 1000):
            eval(e)
        end = time.time()
        print(f"Size: {size}, {type(b).__name__}, time: {end-start}")

结果：

$ python c:\temp\test_memoryview.py
Expression: list(b[i:i+1000])
Size: 1000000, bytes, time: 0.021999597549438477
Size: 1000000, memoryview, time: 0.03600668907165527
Expression: list(b[i:])
Size: 1000000, bytes, time: 5.3010172843933105
Size: 1000000, memoryview, time: 11.202003479003906
Expression: b[i:]
Size: 1000000, bytes, time: 0.2990117073059082
Size: 1000000, memoryview, time: 0.006985902786254883

前两个结果似乎是一个相当令人惊讶的结果。我知道调用列表将涉及数据的副本，但我认为在切片内存视图而不是底层字节数组时，您可以保存临时副本。

4

1 回答 1

3

你不能像 C 或 C++ 那样考虑 Python。额外副本的常量因子开销远低于支持 Python 的所有动态特性所涉及的常量因子开销，尤其是在 CPython 中没有 JIT 的情况下。一旦您考虑到必须更改以避免该副本的其他内容，您就不能假设保存一个副本实际上会有所帮助。

在这种情况下，几乎所有的工作都在列表转换中。您保存的副本毫无意义。比较 和 的时间b[i:]，list(b[i:])你会发现即使切片执行复制，切片也只占运行时间的百分之几。

您保存的副本无关紧要，因为它基本上只是一个memcpy. 相比之下，列表转换需要在字节串或内存视图上创建一个迭代器，tp_iternext反复调用迭代器的槽，获取int内存的原始字节对应的对象等，成本要高得多。对于 memoryview 来说更加昂贵，因为 memoryview 对象必须支持多维形状和非字节数据类型，而且由于 memoryview 实现没有专门的__iter__实现，所以它通过通用的基于序列的回退迭代，即慢点。

您可以通过使用 memoryview 的tolist方法而不是调用来节省一些时间list。这跳过了一堆迭代协议开销，并允许一些检查只进行一次而不是每个项目一次。在我的测试中，这几乎与调用list字节串一样快。

于 2019-04-20T11:31:48.460 回答