1

我反复酸洗多个对象,但不是连续酸洗。但事实证明,腌制的输出文件太大(每个大约 256MB)。

所以我尝试了,bz2.BZ2File而不是open,每个文件变成了 1.3MB。(是的,哇。)问题是它需要太长时间(比如 95 秒腌制一个物体),我想加快速度。

每个对象都是一个字典,并且它们中的大多数具有相似的结构(或层次结构,如果更好地描述它的话:几乎相同的一组键,并且对应于每个键的每个值通常都有一些特定的结构,等等)。许多字典值都是 numpy 数组,我认为那里会出现很多零。

你能给我一些建议让它更快吗?

谢谢!

4

1 回答 1

1

我最终使用了lz4,这是一种速度极快的压缩算法。

一个 python 包装器,可以很容易地安装:

pip install lz4
于 2017-12-13T08:02:19.500 回答