问题标签 [hdf5]

我有一个由 PyTables 生成的相当大的 HDF5 文件，我试图在集群上读取它。当我阅读单个块时，我遇到了 NumPy 的问题。让我们来看这个例子：

HDF5 文件中数组的总形状是，

此数组中的每个条目都是一个np.float64.

我让每个节点读取 size 的切片(21933063,10,3)。不幸的是，NumPy 似乎无法一次读取所有 2100 万个子切片。我试图通过将这些切片分成 10 个大小的切片按顺序执行此操作(2193306,10,3)，然后使用以下 reduce 使事情正常工作：

哪里1 <= k <= 10和chunksize = 2193306。此代码适用于k <= 9；否则我会得到以下信息：

我尝试使用 Valgrind 的memcheck工具来弄清楚发生了什么，似乎 PyTables 是罪魁祸首。跟踪中显示的两个主要文件是libhdf5.so.6一个与blosc.

另外，请注意，如果我有k=8，我会得到：

但是如果我附加最后一个子切片，我会得到：

有没有人知道该怎么做？谢谢！

每当 HDFView 打开由用户或应用程序创建的 hdf 文件时，它都会显示以下错误（我使用的是 Red Hat linux）。

我使用 64 位版本的 Enthought Python 来处理跨多个 HDF5 文件的数据。我在 64 位 Windows 上使用 h5py 版本 1.3.1 (HDF5 1.8.4)。

我有一个对象，它为我的特定数据层次结构提供了一个方便的接口，但是单独测试 h5py.File(fname, 'r') 会产生相同的结果。我正在遍历一个长列表（一次约 100 个文件）并尝试从文件中提取特定的信息。我遇到的问题是我从几个文件中获取了相同的信息！我的循环看起来像：

当我使用 hdfview 之类的东西检查文件时，我知道内部结构不同。但是，我得到的 csv 似乎表明所有文件都包含相同的数据。有没有人见过这种行为？有什么建议可以让我开始调试这个问题吗？

我使用 python 读取了一个 hdf 文件（分层数据格式），其中包含来自卫星的图像数据（名称应该是 MODIS）。python代码能够获取图像的经度、纬度和辐射度。然后使用数据生成图像。

我的老师告诉我目标是把图像放在地图上，我不明白这是什么意思。但她提到要将图像“放置”在地图上，我很可能必须使用“近似最近邻”库（ANN 库）。

图像“放置”在地图上后，应如下所示：

那么在地图上“放置”图像是什么意思呢？谢谢你。

我被要求更改当前导出 .Rdata 文件的软件，以便它以“与平台无关的二进制格式”导出，例如 HDF5 或 netCDF。给出了两个原因：

1. Rdata 文件只能由 R 读取
2. 二进制信息的存储方式因操作系统或体系结构而异

我还发现 “R Data import export manual”没有讨论 Rdata 文件，尽管它确实讨论了 HDF5 和 netCDF。

关于 R-help的讨论表明 .Rdata 文件是独立于平台的。

问题：

1. 这些担忧在多大程度上是有效的？
   • 例如，Matlab 可以在不调用 R 的情况下读取 .Rdata 吗？
2. 在这方面，其他格式是否比 .Rdata 文件更有用？
3. 是否可以编写一个脚本来创建所有 .Rdata 文件的 .hdf5 类似物，从而最大限度地减少对程序本身的更改？

Python 与 SQLite（sqlite3，atpy）和 HDF5（h5py，pyTables）的接口似乎有很多选择——我想知道是否有人有将这些与 numpy 数组或数据表（结构化/记录数组）一起使用的经验，以及其中最无缝地与每种数据格式（SQLite 和 HDF5）的“科学”模块（numpy、scipy）集成。

使用HDF5DotNet，谁能指出我的示例代码，它将打开一个 hdf5 文件，提取数据集的内容，并将内容打印到标准输出？

到目前为止，我有以下内容：

然后它变得有点混乱。

我实际上想对数据集的内容进行一些处理，但我认为一旦我转储到标准输出，我就可以从那里解决它。

更新：我已经解决了这个问题，足以解决我自己的问题。我没有意识到数据集是一个多数组——我认为它更像是一个数据库表。万一有人感兴趣，

我正在使用 Python 2.7。我的系统正在运行 Window Vista，32 位。

我有一段代码可以读取辐射度、纬度和经度以及一个图像文件（以 hdf 扩展名）。然后尝试执行近似最近邻并对其进行映射。但是当它试图做近似最近的邻居时，它给了我内存错误。

仅 hdf 文件就有 4.70 MB，看起来大小不算太大。

这是我的代码：

然后我的函数和导入是：

这是 def get_lat_lon：

这是 def interp_knn （这是近似的最近邻 ANN）

错误是：

那么列堆栈是否给了我这个错误？如果这是问题所在，我应该怎么做才能解决它？请给我一些光。

编辑：

我输入了这些行以打印出每个值

我得到了这些结果：

我升级到 MS VC++ 2010 (Visual Studio Professional) 和 boost 1.45.0 但我仍在尝试使用用 MS VC++ 2008 构建的 HDF5 1.8.4p1 和 boost 1.39.0；一切都很好（我明确提供了我的 HDF5 lib 路径中所需的 boost_zlib-vc90*.[lib/dll]）。但是当我运行时，我在 HDF5 库中收到以下运行时错误：

该错误似乎与 HDF5 库明显隔离。访问冲突发生在下面函数调用内的 H5File(...) 构造函数中（我通过分成两行代码来确认它）。我也尝试更改 HDF5 文件访问标志，但无济于事：

这里 m_file 的类型是：

除了使用 MS VC++ 2010 和 boost_zlib 1.45 构建 HDF5 库之外，我没有其他办法了吗？

编辑：

只是想跟进一下，我最终在 MS VC++ 2010 上构建了 HDF5 库（有点痛苦，但使用 CMake 路线解决了问题），我的应用程序现在运行良好。再次感谢。

我试图弄清楚如何从 HDF5 文件（测深属性网格 / BAG）中转储文本块。当我这样做时h5dump -d /BAG_root/metadata H11703_Office_5m.bag，以及我尝试过的任何其他事情时，我总是得到引用 XML 的每个字符的数据。是否有“简单”选项可以将原始数据内容转储到文件或终端？