5

我试图更好地理解 numpy 的 memmap 如何处理非常大文件的视图。下面的脚本打开一个内存映射的 2048^3 数组，并复制它的下采样 128^3 视图

import numpy as np
from time import time

FILE = '/Volumes/BlackBox/test.dat'
array = np.memmap(FILE, mode='r', shape=(2048,2048,2048), dtype=np.float64)

t = time()
for i in range(5):
    view = np.array(array[::16, ::16, ::16])
t = ((time() - t) / 5) * 1000
print "Time (ms): %i" % t

通常，这会打印Time (ms): 80左右。但是，如果我将视图分配更改为

view = np.array(array[1::16, 2::16, 3::16])

并运行三遍，我得到以下信息：

Time (ms): 9988
Time (ms): 79
Time (ms): 78

有谁明白为什么第一次调用这么慢？

4

1 回答 1

5

操作系统仍然有部分（或全部）可用的映射文件缓存在物理 RAM 中。初始读取必须访问磁盘，这比访问 RAM 慢得多。做足够多的其他磁盘 IO，你会发现你会回到更接近原来的时间，操作系统必须重新读取它没有再次从磁盘缓存的位......

于 2012-08-06T16:36:00.970 回答