4

我在使用#pragma omp parallel for 时遇到问题

基本上，我有数百个 DNA 序列，我想针对一种称为 NNLS 的算法运行这些序列。

我认为并行执行会大大加快速度，因此我应用了#pragma 运算符。

当我按顺序运行它时没有问题，结果很好，但是当我使用#pragma omp parallel 运行它时，我在算法中遇到了一个段错误（有时在不同的点）。

#pragma omp parallel for
for(int i = 0; i < dir_count; i++ ) {

  int z = 0;
  int w = 0;
  struct dirent *directory_entry;
  char filename[256];

  directory_entry = readdir(input_directory_dh);

  if(strcmp(directory_entry->d_name, "..") == 0 || strcmp(directory_entry->d_name, ".") == 0) {
    continue;
  }

  sprintf(filename, "%s/%s", input_fasta_directory, directory_entry->d_name);

  double *count_matrix = load_count_matrix(filename, width, kmer);

  //normalize_matrix(count_matrix, 1, width)
  for(z = 0; z < width; z++) 
    count_matrix[z] = count_matrix[z] * lambda;

  // output our matricies if we are in debug mode
  printf("running NNLS on %s, %d, %d\n", filename, i, z);
  double *trained_matrix_copy = malloc(sizeof(double) * sequences * width);
  for(w = 0; w < sequences; w++) {
    for(z = 0; z < width; z++) {
      trained_matrix_copy[w*width + z] = trained_matrix[w*width + z];
    }
  } 

  double *solution = nnls(trained_matrix_copy, count_matrix, sequences, width, i);


  normalize_matrix(solution, 1, sequences);
  for(z = 0; z < sequences; z++ )  {
    solutions(i, z) = solution[z]; 
  }

  printf("finished NNLS on %s\n", filename);

  free(solution);
  free(trained_matrix_copy);
}

gdb 总是在我的线程中以不同的品脱退出，所以我不知道出了什么问题。

我试过的：

  • 分配每个矩阵的副本，这样它们就不会在彼此之上书写
  • #pragma 部分混合使用私有/共享运算符
  • 使用不同的输入序列
  • 在调用 NNLS 之前写出我的 trained_matrix 和 count_matrix，确保它们看起来不错。（他们是这样！）

我有点没主意了。有人有什么建议吗？

4

4 回答 4

3

解决方案：确保在多线程时不要在函数中使用静态变量（该死的 f2c 翻译器）

于 2013-05-01T13:41:59.433 回答
1

定义“#pragma omp parallel for”不会给你你想要的。根据您拥有的算法，您必须制定一个可靠的计划，确定哪些变量将在处理器之间共享，哪些变量将私有。

查看此链接应该可以让您快速了解如何在线程之间正确共享工作。

根据您的陈述“我在算法中遇到段错误（有时在不同的点）”，我认为线程之间存在竞争条件或变量初始化不正确。

于 2013-04-29T21:28:28.380 回答
1

函数 readdir 不是线程安全的。引用 readdir(3) 的 Linux 手册页：

The data returned by readdir() may be overwritten by subsequent  calls  to  readdir()
for the same directory stream.

考虑将对 readdir 的调用放在临界区中。在离开临界区之前，将从 readdir() 返回的文件名复制到本地临时变量，因为下一个进入临界区的线程可能会覆盖它。

还要考虑使用临界区保护您的输出操作，否则来自不同线程的输出可能会混杂在一起。

于 2013-04-30T16:40:18.303 回答
0

一个非常可能的原因是堆栈限制。正如 MutantTurkey 所提到的，如果您有很多静态变量（例如子程序中定义的巨大数组），它们可能会用完您的堆栈。

为了解决这个问题，首先运行ulimit -s检查进程的堆栈限制。您可以使用ulimit -s unlimited将其设置为 ulimited。然后，如果它仍然崩溃，请尝试通过将OMP_STACKSIZE环境变量设置为一个巨大的值来增加 OPENMP 的堆栈，例如100MB.

英特尔在https://software.intel.com/en-us/articles/determining-root-cause-of-sigsegv-or-sigbus-errors进行了讨论。它有更多的堆栈和堆内存信息。

于 2019-11-26T21:10:13.580 回答