hdf5 - 分块 HDF5 数据集和slabsize

Question

我们正在评估 HDF5 在分块数据集方面的性能。特别是我们试图弄清楚是否可以跨不同的连续块进行读取，以及这样做会如何影响性能？例如，我们有一个块大小为 10 的数据集，一个具有 100 个值的数据集，并且想要读取 23 到 48 的值。会不会有很大的性能损失？

非常感谢！

Answer 1

我不知道如何具体回答您的问题，但我建议您使用 1024 的块大小（或任何更高的 2 次幂）。我不知道 HDF5 的内部结构，但根据我对文件系统的了解以及我们所做的粗略基准测试，1024 是正确的。