问题标签 [h5py]

I am creating an h5 files with 5 datasets ['a160'],['a1214']

How can I make it so that the datasets will be sorted by the dataset name..

For example when I do h5dump on my file I get:

But I want it to be ordered by the dataset name, I need h5dump to output

我正在处理.h5经验不足的文件。

在我编写的脚本中，我从 .h5 文件中加载数据。结果数组的形状是：[3584, 3584, 75]。这里的值3584表示像素的数量，并75表示时间帧的数量。加载数据和打印形状需要 180 毫秒。我使用os.times().

如果我现在想查看特定时间范围内的数据，我会使用以下代码：

切片占用大量时间（1.76 秒）。我知道我的 2D 数组很大，但在某些时候我想循环一段时间，因为我在for循环中执行这个切片需要很长时间。

是否有更有效/更省时的方式来分割时间框架或处理此类数据？

谢谢！

我正在使用 Python 将数据存储在 HDF5 数据库中。

每个数据集都有一个与之关联的属性列表。

我想检索具有给定属性值的所有数据集。

例如，一个属性temperature的值可能是20.0。我想用temperatureof调用所有数据集20.0。

有没有快速的方法来做到这一点？

如何使用 HDF5 存储 NumPy 日期时间对象h5py？

我从未使用过 Python，我从手册中看到了一段代码，我很想知道它是什么意思。

这是手册中的代码：

我想知道这两条线是什么意思，特别是[...]什么是[:, 0]和[:, :10]代表什么。

首先，我阅读了主题“用 Python 编写 hdf5 文件的最快方法？ ”，但它不是很有帮助。

我正在尝试在 h5f5 结构中加载大约 1GB 的文件（大小为 (70133351,1) 的矩阵）。

很简单的代码，但是很慢。

我有一个 50MB 的较小版本的矩阵，我尝试了相同的代码，但 24 小时后仍未完成。

我知道让它更快的方法是避免“for循环”。如果我使用的是常规 python，我会使用哈希理解。不过，这里好像不适合。

我可以稍后通过以下方式查询文件：

考虑到 GFXVG 在 h 中的键上，这会回答我“真”

有人有什么想法吗？

部分文件示例：

谢谢

给定以下类型的 H5Py 文件

我想在几个条目中取出几个字段。我正在寻找类似以下的内容：

可悲的是，这引发了一个错误。我可以将查询分成多个部分，它可以工作：

但这是低效的。

问题

有什么方法可以有效地从存储在 HDF5 中的结构化数组中选择一些字段和一些条目h5py？

我有一个大的 hdf5 文件，看起来像这样：

...

我想创建一个新文件，只有：A/B/dataset1，dataset2 A/C/dataset1，dataset2

python中最简单的方法是什么？

我做了：

问题是我得到了dest.h5：

而且我缺少部分树状结构。

我在 Ubuntu 服务器上安装 h5py。但是，它似乎返回了一个h5py.h未找到的错误。pip当我使用或setup.py文件安装它时，它会给出相同的错误消息。我在这里想念什么？

我有 Numpy 版本 1.8.1，它高于所需的 1.6 或更高版本。

完整的输出如下：

我HDF5用来存储非常大的数据集uint8s（400 x 121000000）。列中存在大量冗余（97% 的列不是唯一的）。我需要有效地合并重复的列。这意味着我需要删除重复的列，同时存储元数据以记住合并了哪些列。

我目前正在使用 Python h5py，但如果有人有一个高效的 C++ 解决方案，我可以简单地使用boost::python它来实现它。

我当前的解决方案包括将数据集的块加载到NumPy数组中并使用 adictionary来存储唯一列和元数据。

注意：HashableNDArray课程可以在这里找到。我只是重命名了它。

遍历完所有列后，我返回一个dictionary用于编写HDF5删除冗余的新数据集的 a。

我需要帮助; 这不可能是最佳的！

谢谢！