10

我有一些大（甚至压缩到 10GB 左右）文件，其中包含一个 ASCII 标头，然后原则上每个大约 3MB 的 numpy.recarrays，我们称它们为“事件”。我的第一种方法如下所示：

f = gzip.GzipFile(filename)
f.read(10000) # fixed length ascii header
event_dtype = np.dtype([
        ('Id', '>u4'),                # simplified
        ('UnixTimeUTC', '>u4', 2), 
        ('Data', '>i2', (1600,1024) ) 
        ])
event = np.fromfile( f, dtype = event_dtype, count=1 )

但是，这是不可能的，因为 np.fromfile 需要一个真正的 FILE 对象，因为它确实进行了低级调用（找到了一张很旧的票https://github.com/numpy/numpy/issues/1103）。

所以据我了解，我必须这样做：

s = f.read( event_dtype.itemsize )
event = np.fromstring(s, dtype=event_dtype, count=1)

是的，它有效！但这不是非常低效吗？不是为 s 分配了内存，并为每个事件收集垃圾吗？在我的笔记本电脑上，我达到了 16 个事件/秒，即 ~50MB/秒

我想知道是否有人知道一种聪明的方法，一次分配内存，然后让 numpy 直接读入该内存。

顺便提一句。我是一名物理学家，所以……在这个行业还是个新手。

4

1 回答 1

7

@Bakuriu 可能是正确的，这可能是一个微优化。你的瓶颈几乎肯定是IO，然后就是解压。两次分配内存可能并不重要。

但是，如果您想避免额外的内存分配，您可以使用numpy.frombuffer将字符串视为 numpy 数组。

这避免了重复内存（字符串和数组使用相同的内存缓冲区），但默认情况下，数组将是只读的。然后，如果需要，您可以将其更改为允许写入。

在您的情况下，它就像替换为一样fromstring简单frombuffer：

f = gzip.GzipFile(filename)
f.read(10000) # fixed length ascii header
event_dtype = np.dtype([
        ('Id', '>u4'),                # simplified
        ('UnixTimeUTC', '>u4', 2), 
        ('Data', '>i2', (1600,1024) ) 
        ])
s = f.read( event_dtype.itemsize )
event = np.frombuffer(s, dtype=event_dtype, count=1)

只是为了证明使用这种方法不会复制内存：

import numpy as np

x = "hello"
y = np.frombuffer(x, dtype=np.uint8)

# Make "y" writeable...
y.flags.writeable = True

# Prove that we're using the same memory
y[0] = 121
print x # <-- Notice that we're outputting changing y and printing x...

这产生：yello而不是hello.

无论在这种特殊情况下它是否是一个重要的优化，它都是一种需要注意的有用方法。

于 2013-04-12T23:26:28.410 回答