16

我有一个 HDF5 文件，其中包含复合元素的一维 (N x 1) 数据集——实际上它是一个时间序列。数据首先离线收集到 HFD5 文件中，然后进行分析。在分析过程中，大多数数据被证明是无趣的，只有部分数据是有趣的。由于数据集可能非常大，我想去掉不感兴趣的元素，同时保留有趣的元素。例如，保留 500 个元素数据集的 0-100 和 200-300 和 350-400 元素，转储其余元素。但是怎么做？

有人对如何使用 HDF5 完成此任务有经验吗？显然，它可以通过多种方式完成，至少：

  • （明显的解决方案），创建一个新的文件并在其中逐个元素地写入必要的数据。然后删除旧文件。
  • 或者，在旧文件中，创建一个新的新数据集，在其中写入必要的数据，使用 H5Gunlink() 取消链接旧数据集，并通过 h5repack 运行文件来摆脱无人认领的可用空间。
  • 或者，将现有数据集中的感兴趣元素移向起始位置（例如，将元素 200-300 移动到位置 101-201，将元素 350-400 移动到位置 202-252）。然后调用 H5Dset_extent() 来减小数据集的大小。然后可能会运行 h5repack 以释放可用空间。

由于即使删除了无趣的元素，文件也可能非常大，我宁愿不重写它们（这需要很长时间），但似乎需要实际释放可用空间。来自 HDF5 专家的任何提示？

4

2 回答 2

9

HDF5（至少我习惯的版本，1.6.9）不允许删除。实际上，它确实如此，但它并没有释放已用空间，结果你仍然有一个巨大的文件。如您所说，您可以使用 h5repack，但这是浪费时间和资源。

您可以做的是拥有一个包含布尔值的横向数据集，告诉您哪些值是“活动的”，哪些值已被删除。这不会使文件变小，但至少它为您提供了一种快速执行删除的方法。

另一种方法是在数组上定义一个slab，复制相关数据，然后删除旧数组，或者总是通过slab访问数据，然后根据需要重新定义它（不过我从来没有做过，所以我'不确定是否可能，但应该）

最后，您可以使用 hdf5 安装策略将数据集放在您安装在根 hdf5 上的“附加”hdf5 文件中。当你想删除这些东西时，将感兴趣的数据复制到另一个挂载的文件中，卸载旧文件并将其删除，然后将新文件重新挂载到适当的位置。此解决方案可能很混乱（因为您周围有多个文件），但它允许您释放空间并仅对数据树的子部分进行操作，而不是使用重新打包。

于 2009-07-14T13:55:15.227 回答
2

不幸的是，复制数据或使用您所描述的 h5repack 是在 HDF5 文件中“缩小”数据的两种常用方法。

正如您可能已经猜到的那样，问题在于 HDF5 文件具有复杂的内部结构（文件格式在这里，适合任何好奇的人），因此删除和缩小内容只会在相同大小的文件中留下漏洞。HDF5 库的最新版本可以跟踪释放的空间并重新使用它，但您的用例似乎无法利用这一点。

正如另一个答案所提到的，您可能可以使用外部链接或虚拟数据集功能来构建更适合您将要进行的操作的 HDF5 文件，但我怀疑您仍然会复制很多数据，这肯定会增加额外的复杂性和文件管理开销。

顺便说一句，H5Gunlink() 已被弃用。H5Ldelete() 是首选替代方法。

于 2017-09-27T11:40:25.923 回答