问题标签 [h5py]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 将包含 Numpy 数组的整个 HDF5 读入内存的最快方法
我用 :
将整个 HDF5 文件(2 GB,1000 个numpy
阵列,每个阵列 2 MB)读入内存。
有没有更快的方法将 HDF5 的所有内容加载到内存中?
(也许这里的循环在文件中做了很多“移动”(寻找?),因为每个f[k]
都没有按照给出的顺序放置for k in f.iterkeys()
?)
python - .h5 文件的统计分析(SPSS?)
我在单独的 .h5 文件(分层数据格式 5,HDF5)中有两组数据,是通过 python 脚本获得的,我想执行统计分析以找到它们之间的相关性。我在这里的经验是有限的;我不知道任何R。
我想将数据加载到 SPSS,但 SPSS 似乎不支持 .h5。去这里的最佳方式是什么?我可以将所有内容写入 .csv 文件,但我会丢失变量的名称。有没有办法在不丢失任何信息的情况下转换数据?为什么 SPSS 不支持 h5 呢?
我知道 Rpy 模块的存在。你认为学习 R 编程值得吗?这会给我与 SPSS 中相同的方法库吗?
谢谢您的意见!
python - HDF5 链接到数据集中的事件
我正在尝试使用 HDF5 存储时间序列 EEG 数据。这些文件可能很大并且包含许多通道,我喜欢 HDF5 文件格式的特性(惰性 I/O、动态压缩、mpi 等)。
与 EEG 数据有关的一件常见事情是将数据部分标记为“有趣”。我正在努力寻找一种将这些标记存储在文件中的好方法。我看到支持将同一数据集链接到其他组等的软/硬链接 - 但我看不到任何链接到数据集部分的方法。
例如,假设我有一个名为 EEG 的数据集,其中包含睡眠数据。假设我运行了一个算法,该算法需要一段时间来处理数据并生成与 REM 睡眠周期相对应的索引。将这些索引范围存储在 HDF5 文件中的最佳方法是什么?
我现在能想到的最好的方法是创建一个包含三列的数据集——第一列是一个字符串,包含事件的标签(“REM1”),第二列/第三列分别包含开始/结束索引. 我不喜欢这个解决方案的唯一原因是因为 HDF5 数据集的大小相当固定——如果我后来决定错误识别了一段时间的 REM 睡眠并且我需要添加/删除该事件,那么数据集大小将需要更改(并删除数据集/使用新大小重新创建它是次优的)。再加上我可能有很多事件(想象标记眨眼事件),这变得更加成问题。
我更想知道 HDF5 文件中是否有我不知道的功能,因为这似乎是人们想要做的一件很常见的事情。
python - 如何使用 h5py 覆盖 h5 文件中的数组
我正在尝试覆盖一个 numpy 数组,它是一个非常复杂的 h5 文件的一小部分。
我正在提取一个数组,更改一些值,然后想将数组重新插入到 h5 文件中。
提取嵌套的数组没有问题。
我尝试的代码看起来像这样但没有成功:
作为健全性检查,我使用以下代码在 Matlab 中执行了此操作,并且没有问题。
有人对如何成功地做到这一点有任何建议吗?
python - h5py:切片 h5py 数据集时出错
[更新:问题已解决。解决方案见结尾]
我正在尝试对 h5py 数据集进行切片,但仅在此处出现错误
但是当我在同一组中切片另一个数据集时,它似乎工作正常
我不太明白有什么问题dataset['trainlabel']
。
有没有人遇到过这个?谢谢。
PSdataset
是从 v7.3 .mat 文件中读取的。“traindata”最初是一个单精度矩阵,“trainlabel”是 .mat 文件中的 int32 向量。
[解决方案:]通过http://www.lfd.uci.edu/~gohlke/pythonlibs/#h5py提供的预构建版本覆盖现有的 h5py 库(随 Anaconda 提供)。
python - 如何使用“h5py”调整 HDF5 数组的大小
如何使用h5py
Python 库调整 HDF5 数组的大小?
我已经尝试使用该.resize
方法并在一个数组上chunks
设置为True
. 唉,我仍然缺少一些东西。
python - 在 python 中快速读取 HDF 5 文件?
我有一台将数据(来自模数转换器的许多迹线)保存为 HDF 5 文件的仪器。如何在 python 中有效地打开这个文件?我尝试了以下代码,但提取数据似乎需要很长时间。
此外,它以错误的顺序读取数据:而不是读取 1,2,3,而是读取 1,10,100,1000。
有任何想法吗?
这是示例数据文件的链接:https ://drive.google.com/file/d/0B4bj1tX3AZxYVGJpZnk2cDNhMzg/edit?usp=sharing
这是我的超慢代码:
python - 从 Python 将字符串列表存储到 HDF5 数据集
我正在尝试将可变长度的字符串列表存储到 HDF5 数据集。代码是
我收到一条错误消息,指出“TypeError:dtype 没有转换路径:dtype('< U3')”,其中 < 表示实际小于符号
我该如何解决这个问题。
python - 将 HDF5 文件转换为其他格式
我有一些 HDF5 文件的大文件集,我正在寻找一种将这些文件中的数据转换为 XML、TXT 或其他易于阅读的格式的有效方法。我尝试使用 Python 包 (www.h5py.org),但我无法找出可以足够快地完成这些工作的任何方法。我不限于 Python,也可以用 Java、Scala 或 Matlab 编写代码。有人可以给我一些关于如何进行的建议吗?
谢谢,
TM值