2

我有一个大字节数组 x 并想将它的一部分分配给另一个字节数组 y 的一部分

x = bytearray(10**7) #something else in practice
y = bytearray(6*10**6)
y[::6] = x[:2*10**6:2]

我认为使用 memoryview 会更快，而且确实

memoryview(x)[:2*10**6:2]

非常快。然而，

y[::6] = memoryview(x)[:2*10**6:2]

需要 5 倍的时间y[::6] = x[:2*10**6:2]

  1. 我是否遗漏了什么，或者这是否是 Python 中的一个错误？
  2. 如果我想重复分配已知数量的 0 和 (b) 通常在 Python (a) 中执行此操作的最快方法是什么？
4

1 回答 1

1

减速并不是一个错误，但它memoryview和缓冲区协议仍然相对较新并且优化不佳。在复制之前y[::6] = memoryview(x)[:2*10**6:2]创建连续副本的基础代码。bytearray这意味着它将比直接创建和分配bytearray. 事实上，在这个特定的例子中（在我的机器上），使用 amemoryview在速度上y[::6] = islice(x, None, 2*10**6, 2)比直接赋值更接近使用。

numpy已经存在了更长的时间，并且针对您感兴趣的操作类型进行了更好的优化。

使用 ipython：

In [1]: import numpy as np; from itertools import islice

In [2]: x = bytearray(10**7)

In [3]: y = bytearray(6*10**6)

In [4]: x_np = np.array(x)

In [5]: y_np = np.array(y)

In [6]: %timeit y[::6] = memoryview(x)[:2*10**6:2]
100 loops, best of 3: 10.9 ms per loop

In [7]: %timeit y[::6] = x[:2*10**6:2]
1000 loops, best of 3: 1.65 ms per loop

In [8]: %timeit y[::6] = islice(x, None, 2*10**6, 2)
10 loops, best of 3: 22.9 ms per loop

In [9]: %timeit y_np[::6] = x_np[:2*10**6:2]
1000 loops, best of 3: 911 µs per loop

最后两个具有额外的好处，即内存开销非常小。

于 2015-10-13T17:52:30.737 回答