0

我正在测试np.memmap，因为我需要将它用于大型数据文件。我在 Windows 机器上运行 python 3.7。我的测试示例非常简单。

import numpy as np
arr = np.ones((10**4, 10), dtype=np.float32)
np.save("./arr_test.npy", arr)
data = np.memmap("./arr_test.npy", dtype=np.float32, shape=arr.shape) 
print((data!=1).sum(), data[:30])

输出显示前 32 个不等于 1。

(32, memmap([[2.2366853e+08, 1.2387478e-40, 3.4833497e-15, 4.4898648e+21,
          1.5767864e-19, 2.1442303e-07, 2.2228396e-15, 7.6830766e+31,
          1.7177136e+19, 6.7425655e+22],
         [1.5767864e-19, 1.8727951e+31, 2.2228527e-15, 2.7904159e+29,
          1.5767847e-19, 6.4098282e-10, 1.4584911e-19, 2.4043096e-12,
          1.3593928e-19, 1.3563156e-19],
         [1.3563156e-19, 1.3563156e-19, 1.3563156e-19, 1.3563156e-19,
          1.3563156e-19, 1.3563156e-19, 1.3563156e-19, 1.3563156e-19,
          1.3563156e-19, 1.3563156e-19],
         [1.3563156e-19, 7.7097618e-33, 1.0000000e+00, 1.0000000e+00,
          1.0000000e+00, 1.0000000e+00, 1.0000000e+00, 1.0000000e+00,
          1.0000000e+00, 1.0000000e+00],
         [1.0000000e+00, 1.0000000e+00, 1.0000000e+00, 1.0000000e+00,
          1.0000000e+00, 1.0000000e+00, 1.0000000e+00, 1.0000000e+00,
          1.0000000e+00, 1.0000000e+00],

我错过了什么？

4

1 回答 1

1

memmap在没有额外信息的情况下处理原始数据，但 NPY 格式的文件有一个包含数据类型、维度等信息的标题。

非零数字是解释为浮点数的标题数据。

该功能numpy.lib.format.open_memmap旨在memmap现有的NPY文件或首先创建一个新文件。

于 2019-11-11T13:38:50.473 回答