问题标签 [h5py]

我正在尝试完成快速入门页面上的简单示例

http://www.h5py.org/docs/intro/quick.html

输出是

我是否试图正确地做到这一点？

我正在使用 h5py 使用 python 存储数据

存储这些大数字真的很有用但是当试图只存储两列数据时，我发现保存普通数据文件更节省空间。是否存在临界数据大小，超过该大小的 h5py 格式存储会更有效？使用这种格式还有其他不明显的优势吗？

我需要一个用于在线目录的数据库；如果每个产品可能有一个数据集。和一个简单的数据库；这就是我喜欢 h5py 的原因。

分组的方法visititems对于大文件来说并不快。

使用不评估任何内容的函数（通过）“database.visititems(fu01)”需要 5 秒。使用基本参数进行过滤需要 x2。

我的问题是如何搜索一个大型或非常大的 h5py 数据库按特征过滤，并且非常快（10.000 个产品不到 0.1 秒）。

h5py/hdf5 是正确的方法，还是需要像 sqlite3 这样的 sql 数据库？

或者，当需要速度时，所有这些都必须在同一个数据集中？以树路径为一个元素。例如：

然后按一个“列”（高级切片）过滤所有产品。

我是数据库新手，目前我对在内存中工作的数据库不感兴趣，比如 reddis 或类似的；因为很难同步数据的变化。但是如果没有其他解决方案...

我目前正在研究一个关于压缩 HDF5 数据集的项目，最近开始使用 h5py。我遵循了基本教程，并且能够在创建文件时打开、创建和压缩文件。但是，在压缩现有文件时我一直没有成功（这是我工作的目标）。

我尝试使用 'r+' 打开文件，然后压缩分块数据集，但文件大小保持不变。

关于使用哪些命令或我以错误的方式处理事情的任何建议？

我正在使用 h5py 将来自数值工作的中间数据存储在 HDF5 文件中。我的项目处于版本控制之下，但这不适用于 HDF5 文件，因为每次重新运行生成 HDF5 文件的脚本时，即使其中的数据没有，二进制文件也会更改。

这是一个小例子来说明这一点：

我查看了 HDF5 文件格式文档和 h5py 文档，但没有找到任何对我有帮助的东西。我的问题是：

1. 即使我保存相同的数据，为什么文件会更改？

2. 我怎样才能停止它的变化，所以版本控制只会在实际数字内容发生变化时看到文件的新版本？

谢谢

Does any one have an idea for updating hdf5 datasets from h5py? Assuming we create a dataset like:

Is it possible to extend the dset to a 3x3 numpy array?

我有一个功能：

1) 将 hdf5 数据集作为整数 ascii 码读入

2) 将 ascii 整数转换为字符...chr() 函数

3) 将字符连接成单个字符串函数

在进行分析时，我发现绝大多数计算都花在了第 2 步上，即将 ascii 整数转换为字符。我通过使用以下方法对这个调用进行了一些优化：

由于我的解析函数似乎受 cpu 限制（整数到字符的转换）而不是 i/o 限制，我希望通过专用于解析的内核数量获得或多/少的线性速度增强。连续解析一个文件需要约 15 秒...解析 10 个文件（在我的 12 核机器上）需要约 150 秒，同时使用 10 个线程。也就是说，似乎根本没有增强。

我使用以下代码来启动我的线程：

任何帮助将不胜感激。

我有一本字典，其中键是日期时间对象，值是整数元组：

我想将它存储在 HDF5 数据集中，但如果我尝试只转储字典 h5py 会引发错误：

TypeError: Object dtype dtype('object') has no native HDF5 equivalent

转换此字典以便我可以将其存储在 HDF5 数据集中的“最佳”方法是什么？

具体来说，我不想只是将字典转储到 numpy 数组中，因为它会使基于日期时间查询的数据检索复杂化。

我的 python 代码正在接收一个字节数组，它代表 hdf5 文件的字节。

我想将此字节数组读取到内存中的 h5py 文件对象，而无需先将字节数组写入磁盘。这个页面说我可以打开一个内存映射文件，但这将是一个新的空文件。我想从字节数组到内存中的 hdf5 文件，使用它，丢弃它，而不是在任何时候写入磁盘。

可以用 h5py 做到这一点吗？（或者如果这是唯一的方法，则使用 C 使用 hdf5）

我用来matplotlib.animation为名为arr. 我使用库从 h5 文件中读取数据h5py，一切正常。但是在使用动画时，颜色图卡在数据范围的第一帧中，经过一些步骤后，它在绘图时显示非标准化颜色。

这是我的代码：