1

说我的数据看起来像这样

thisList = [
     [[13, 43, 21, 4], [33, 2, 111, 33332, 23, 43, 2, 2], [232, 2], [23, 11]] ,
     [[21, 2233, 2], [2, 3, 2,1, 32, 22], [3]], 
     [[3]], 
     [[23, 12], [55, 3]],
     ....
]

存储这段时间数据最节省空间的方式是什么？

我查看了 Numpy 文件，但 numpy 只支持统一长度数据

我查看了 Hdf5，它支持 1d 不规则张量，但不支持 2d

https://stackoverflow.com/a/42659049/3259896

因此，可以选择为 中的每个列表创建一个单独的 hdf5 文件thisList，但我可能会拥有 10-2000 万个这些列表。

4

1 回答 1

2

我运行了基准测试，使用 JSON、BSON、Numpy 和 HDF5 保存了一个参差不齐的嵌套列表。

TLDR：使用压缩的 JSON，因为它是最节省空间且最容易编码/解码的。

在合成数据上，结果如下（带du -sh test*）：

4.5M    test.json.gz
7.5M    test.bson.gz
8.5M    test.npz
261M    test_notcompressed.h5
1.3G    test_compressed.h5

压缩的 JSON 在存储方面是最有效的，而且它也是最容易编码和解码的，因为不规则的列表不必转换为映射。BSON 排在第二位，但它必须转换为映射，这使编码和解码变得复杂（并且否定了 BSON 相对于 JSON 的编码/解码速度优势）。Numpy 的压缩 NPZ 格式排在第三位，但和 BSON 一样，在保存之前必须将参差不齐的列表制作成字典。HDF5 非常大，尤其是压缩的。这可能是因为有许多不同的数据集，并且压缩会增加每个数据集的开销。

基准

这是基准测试的相关代码。该bson软件包是pymongo. 我在带有ext4文件系统的 Debian Buster 机器上运行了这些基准测试。

def get_ragged_list(length=100000):
    """Return ragged nested list."""
    import random

    random.seed(42)
    l = []
    for _ in range(length):
        n_sublists = random.randint(1, 9)
        sublist = []
        for i in range(n_sublists):
            subsublist = [random.randint(0, 1000) for _ in range(random.randint(1, 9))]
            sublist.append(subsublist)
        l.append(sublist)
    return l

def save_json_gz(obj, filepath):
    import gzip
    import json

    json_str = json.dumps(obj)
    json_bytes = json_str.encode()
    with gzip.GzipFile(filepath, mode="w") as f:
        f.write(json_bytes)

def save_bson(obj, filepath):
    import gzip
    import bson

    d = {}
    for ii, n in enumerate(obj):
        for jj, nn in enumerate(n):
            key = f"{ii}/{jj}"
            d[key] = nn
    b = bson.BSON.encode(d)
    with gzip.GzipFile(filepath, mode="w") as f:
        f.write(b)

def save_numpy(obj, filepath):
    import numpy as np

    d = {}
    for ii, n in enumerate(obj):
        for jj, nn in enumerate(n):
            key = f"{ii}/{jj}"
            d[key] = nn
    np.savez_compressed(filepath, d)

def save_hdf5(obj, filepath, compression="lzf"):
    import h5py

    with h5py.File(filepath, mode="w") as f:
        for ii, n in enumerate(obj):
            for jj, nn in enumerate(n):
                name = f"{ii}/{jj}"
                f.create_dataset(name, data=nn, compression=compression)

ragged = get_ragged_list()

save_json_gz(ragged, "ragged.json.gz")
save_bson(ragged, "test.bson.gz")
save_numpy(ragged, "ragged.npz")
save_hdf5(ragged, "test_notcompressed.h5", compression=None)
save_hdf5(ragged, "test_compressed.h5", compression="lzf")

相关包的版本：

python 3.8.2 | packaged by conda-forge | (default, Mar 23 2020, 18:16:37) [GCC 7.3.0]
pymongo bson 3.10.1
numpy 1.18.2
h5py 2.10.0
于 2020-05-08T15:00:49.403 回答