1

我有一个关于使用 HDF5 线程安全库的问题。
我目前使用 HDF5 C++ 库(静态)的一个实例,该实例是由我的一位同事使用 no"HDF5_ENABLE_PARALLEL""HDF5_ENABLE_THREADSAFE"选项编译的。

我尝试做的是使用多个线程访问包含一些数据的 HDF 文件。数据的实际读取不需要并行。

我的代码目前看起来以某种方式简化,如下所示:

// includes etc.

int main() {

  H5File t_file(FILENAME, H5F_ACC_RDONLY);

  thread t1(read_row, cref(t_file), 0);
  thread t2(read_row, cref(t_file), 1);

  t1.join();
  t2.join();

  return 0;

}

void read_row(const H5File & p_file, size_t p_row){

  double data[DIM_Y][DIM_X];

  try {

    DataSet t_dataset = p_file.openDataSet("/Group0/Set0");
    DataSpace t_dataspace = t_dataset.getSpace();

    hsize_t dims[2];
    auto status = t_dataspace.getSimpleExtentDims(dims, nullptr);


    hsize_t count[2] = { 1, DIM_X };
    hsize_t offset[2] = { p_row, 0 };
    t_dataspace.selectHyperslab(H5S_SELECT_SET, count, offset);

    hsize_t mem_dim[2] = { 1, DIM_X };
    DataSpace t_memspace(RANK, mem_dim);
    hsize_t mem_offset[2] = { 0, 0 };
    t_memspace.selectHyperslab(H5S_SELECT_SET, count, mem_offset);

    t_dataset.read(data, PredType::NATIVE_DOUBLE, t_memspace, t_dataspace);

  }
  catch (...){
    cout << "Caught some exception" << endl;
  }
}

代码可以编译,如果我大部分时间都运行程序,一切都很顺利。
但是,有时我会收到以下错误消息:

HDF5-DIAG: Error detected in HDF5 (1.8.16) thread 0:
  #000: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5D.c line 358 in H5Dopen2(): not found
    major: Dataset
    minor: Object not found
  #001: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gloc.c line 430 in H5G_loc_find(): can't find object
    major: Symbol table
    minor: Object not found
  #002: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gtraverse.c line 861 in H5G_traverse(): internal path traversal failed
    major: Symbol table
    minor: Object not found
  #003: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gtraverse.c line 596 in H5G_traverse_real(): can't look up component
    major: Symbol table
    minor: Object not found
  #004: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gobj.c line 1139 in H5G__obj_lookup(): can't check for link info message
    major: Symbol table
    minor: Can't get value
  #005: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gobj.c line 333 in H5G__obj_get_linfo(): unable to read object header
    major: Symbol table
    minor: Can't get value
  #006: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Omessage.c line 896 in H5O_msg_exists(): unable to release object header
    major: Object header
    minor: Unable to unprotect metadata
  #007: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5O.c line 1963 in H5O_unprotect(): unable to release object header
    major: Object header
    minor: Unable to unprotect metadata
  #008: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gobj.c line 1524 in H5O_msg_exists(): H5G__obj_get_linfo
    major: Object cache
    minor: Unable to unprotect metadata
  #009: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5C.c line 5281 in H5C_unprotect(): Entry already unprotected??
    major: Object cache
    minor: Unable to unprotect metadata

我怀疑这是因为库本身在当前形式下不是线程安全的。

我现在的问题是:
如果我使用 --enable-threadsafe 选项重新编译库,那么我是否能够像上面那样使用 HDF5 文件。
库本身应该确保一次只有一个线程正在访问文件(或正在执行 API 调用),对吗?
如果我重新编译这个库,我还能使用 C++ API 吗?

我还尝试使用互斥锁锁定 API 调用,但我仍然遇到了一些问题。

如果有人能回答我的问题,我将不胜感激。我希望我对自己的解释足够好。对不起,如果这有点长;)。

提前致谢。

4

1 回答 1

3

根据HDF5 文档,当使用 --enable-threadsafe 编译时,它提供了第一级线程安全。但这仅适用于 C 库。高级 C++ 库不支持线程安全。如果你会尝试运行

./configure --enable-threadsafe --enable-cxx 

你会得到一个错误。所以,如果你想使用 C++,你必须编译 hdf5 没有“ --enable-threadsafe”选项,你不应该同时从不同的线程访问 hdf5 库。根据我的经验,最好总是从 C++ 中的同一个线程访问 HDF5。

一些 Linux 发行版应用了一个补丁,通过允许--enable-threadsafe和来“修复”这个限制,从而--enable-cxx有效地破坏了 C++ 库。较新版本的 libhdf5 甚至有一个选项--enable-unsupported,它可以在没有补丁的情况下允许它。使用这种“改进的”hdf5 包,您会随机崩溃。所以,检查你是否没有得到这样一个“改进的”库,如果需要的话,手动重新编译它。

于 2017-11-28T10:38:15.773 回答