问题标签 [hdf5]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - HDF5 文件和 PyTables 文件的区别
HDF5
文件和创建的文件有区别PyTables
吗?
PyTables
有两个功能.isHDFfile()
,.isPyTablesFile()
提示两种格式有区别。
我在 Google 上做了一些环顾四周,并收集到 PyTables 是建立在 HDF 之上的,但除此之外我找不到更多。
我对互操作性、速度和开销特别感兴趣。
谢谢。
python - 用于 Python 的 HDF5:高级与低级接口。h5py
我一直在使用C
和处理 HDF5 文件Matlab
,两者都使用相同的方式读取和写入数据集:
- 打开文件
h5f
- 打开数据集
h5d
- 选择空间
h5s
等等...
但是现在我正在使用Python
它,并且通过它的h5py
库,我看到它有两种管理 HDF5 的方法:高级接口和低级接口。而对于前者,从文件的单个变量中获取信息所需的代码行数更少。
使用高级接口时是否有明显的性能损失?
例如,当处理一个包含许多变量的文件时,我们必须只读取其中一个。
c++ - 在 hdf 中存储数据集(C++ 类的实例)
我有一个需要将数据存储到 hdf 文件的应用程序。
是否可以将数据集存储在实际上是 C++ 对象的 hdf 中?例如,我想将a
下面对象中包含的数据存储到 hdf 文件 (hdf4 或 hdf5) 。我可以这样做吗?如果是的话,如果有人能做到这一点,我将不胜感激。谢谢你。
python - 在 mac os lion 上构建 pytables
我正在尝试在 mac lion 上构建 pytables 2.3.1,但我遇到了这个错误:
tsf-wpa-3-6133:tables-2.3.1 Hesam$ python setup.py build * 发现安装了 numpy 1.5.1 包。* 发现安装了 numexpr 1.4.2 包。* 发现安装了 Cython 0.15.1 包。.. 错误:: 找不到本地 HDF5 安装。您可能需要通过设置
HDF5_DIR
环境变量或使用--hdf5
命令行选项明确说明可以在何处找到本地 HDF5 头文件和库。
你知道解决办法是什么吗?
谢谢。
python - 将使用-v7.3(HDF5)保存的Matlab稀疏矩阵加载到Python中并对其进行操作
我是python新手,来自matlab。我有一个以 matlab v7.3 (HDF5) 格式保存的大型稀疏矩阵。到目前为止,我已经找到了两种加载文件的方法,使用h5py
和tables
. 然而,在矩阵上操作似乎都非常慢。例如,在 matlab 中:
使用表格:
使用 h5py:
(我放弃了等待……)
[编辑]
根据@bpgergo 的评论,我应该补充一点,我已经尝试通过以下两种方式将h5py
( f
) 加载的结果转换为numpy
数组或稀疏数组:scipy
或者
但是这两个操作也都非常慢。
我在这里缺少什么吗?
python - HDF5、h5py 中的 XML 文件
我正在使用 h5py 分组保存数据(浮点数)。除了数据本身,我还需要在 hdf5.xml 中包含一个附加文件(一个 .xml 文件,包含必要的信息)。我该怎么做呢?我的方法错了吗?
我的 h5 树应该是这样的:
linker - 与 HDF5 for fortran 链接时符号名称中的 @ 问题
我在使用 Intel Fortran 11.1 将 HDF5 库与 Visual Studio 2010 中的解决方案链接时遇到问题。
具体的错误信息是:
这个符号应该在 hdf5_fortran.lib 库中,检查 hdf5_fortran.lib 文件中的符号,我发现它确实包含该符号
其他相关信息:我通过检查命令行语句检查了链接器是否正确包含 hdf5_fortran.lib 文件。此外,库文件名拼写错误会报告文件未找到错误。
由于几个历史原因,代码库是使用 /names:as-is 和 /assume:nounderscore 编译的。
现在,如果不是链接符号的专家,_H5F_mp_H5FOPEN_F@ 末尾的“装饰”@4 似乎与定义的符号 _H5F_mp_H5FOPEN_F 冲突,所以显而易见的问题是:我怎样才能摆脱符号中的这个 @4在我的代码中引用,或者还有其他方法可以解决这个问题吗?
viewer - HDF5 查看器/编辑器 Linux
HDFVIEW很不错,但有没有其他选择?
能够更改诸如分块/压缩设置之类的东西会很棒 - hdfview 没有那个功能 - 而不必使用 Java/python/whatever 加载文件。
java - 结合 Java、Python、PyTables 和 HDF5 的简单有效的解决方案
我是 Python、PyTables 和 HDF5 的新手。我正在为我的问题寻找简单和最佳的解决方案。
接下来是问题。一方面,我有许多带有数据的 XML 文件。我只想解析这些文件并将数据放在另一端的 hdf5 文件中。稍后,我将通过一些搜索条件使用这些数据。为什么是 HDF5?因为需要放置大型数据集并且因为速度。使用 RDBMS 会在 JOIN 操作期间产生性能问题。解决方案必须提供速度和良好的内存性能。
经过一番谷歌搜索后,我发现 Python 和 PyTables 是可能的解决方案。我的想法是在 Java 中解析 XML 中的数据(此代码必须用 Java 编写),然后编写 python 脚本,使用 PyTables API 在 hdf5 中插入数据并从 Java 执行 python 脚本。所以,我正在从 Java 程序编写和执行 python 脚本。为了在 Java 中编写 python 脚本,我使用 java.io.* 包并在 Java 中执行 Process 类。例如:
p.exec("cmd /c C:\MyScripts\myscript.py")
我不知道这个解决方案好不好。对我来说,使用 java.io.* 从 Java 编写脚本并不酷。可能,我稍后在从脚本读取结果时会遇到问题(当我使用 Python 脚本和 PyTables API 制定一些搜索条件时)。
所以,我对我的问题没有几个问题。在一侧解析 XML 数据并将数据存储在另一侧的 hdf5 之间的最佳解决方案是什么?我对这个解决方案的正确方式(从 Java 代码编写和执行 python 脚本)?Python 和 PyTables 呢?这些技术能很好地解决我的问题吗?我还阅读了一些关于 Jython 的内容,但我不知道是否可以将它与 PyTables 结合使用?
欢迎专业人士提出意见和建议。感谢您的帮助。
python - 是否可以在 PyTables 单元格中存储任意形状的多维数组?
PyTables 支持从继承自 IsDescription 类的用户定义类创建表。这包括对多维单元格的支持,如文档中的以下示例所示:
但是,是否可以在单个单元格中存储任意形状的多维数组?在上面的示例之后,类似于pressure = Float32Col(shape=(x, y))
wherex
和y
的内容取决于每一行的插入。
如果不是,首选的方法是什么?将每个(任意形状的)多维数组存储在CArray
具有唯一名称的 a 中,然后将这些名称存储在主索引表中?我想象的应用程序是存储图像和相关元数据,我希望能够查询和使用它们numexpr
。
非常感谢任何指向 PyTables 最佳实践的指针!