python - zarr 生成多少文件？

Question

我正在寻找一种线程安全的替代 hdf5 的替代品，以便在多处理环境中读取并偶然发现zarr，根据基准，据说它基本上是 python 环境中 h5py 的直接替代品。

我试过了，到目前为止一切都很好，但我无法理解 zarr 输出的文件数量。

如果我使用 h5py 写入 h5 文件，则只有一个文件结果，而zarr似乎在子文件夹中输出随机数量的文件。

有人会向我解释为什么会这样以及创建文件的确切数量取决于什么？

提前致谢

Answer 1

Zarr 通常将键（特定的块索引）映射到表示该块数据的值（二进制 blob）。如果您使用的是DirectoryStore，这会导致许多不同的文件被写入磁盘。看到的文件数量将取决于您的数组有多少块以及哪些包含非平凡内容（如非零值）。