我反复酸洗多个对象,但不是连续酸洗。但事实证明,腌制的输出文件太大(每个大约 256MB)。
所以我尝试了,bz2.BZ2File
而不是open
,每个文件变成了 1.3MB。(是的,哇。)问题是它需要太长时间(比如 95 秒腌制一个物体),我想加快速度。
每个对象都是一个字典,并且它们中的大多数具有相似的结构(或层次结构,如果更好地描述它的话:几乎相同的一组键,并且对应于每个键的每个值通常都有一些特定的结构,等等)。许多字典值都是 numpy 数组,我认为那里会出现很多零。
你能给我一些建议让它更快吗?
谢谢!