python - 访问 Zarr 中的一个块

Question

Zarr以块的形式将数组保存在磁盘上，每个块都是一个单独的文件。有没有办法只访问一个选择的块（文件）？

如果不将整个数组加载到内存中，是否可以确定哪些块是空的？

Answer 1

可以通过查看keys底层的方法来查看填充了哪些块chunk_store。只有带有数据的键才会被填充。

这些键的对应值将包含该块的数据，但它会被压缩。如果您想要更多，鼓励您在 Zarr 回购中提出问题。

Answer 2

除了自己打 FS 之外，我不知道有任何方法可以找到块大小。Zarr 对此进行了抽象。也许你必须解释你在做什么。

我目前正在进行的项目使用 Zarr 来存储气象数据。我们将数据保存在 shape 的 3 维数组中(t, x, y)。除了数据，我们还有一个 shape 数组(t)，实际上是一个位掩码，用于记录哪些插槽已被填充。所以当数据进来时，我们写

data[t] = [...]
ready[t] = 1

因此，当查询数据时，我们知道在什么时间段可以期待数据，以及哪些时间段是空的。