6

下面的测试用例在使用 OpenMP 时在“post MT section”消息之后的循环中在 32 位机器上耗尽内存（抛出 std::bad_alloc），但是，如果 OpenMP 的#pragmas 被注释掉，则代码运行通过完成罚款，所以看起来当内存在并行线程中分配时，它没有正确释放，因此我们用完了内存。

问题是下面的内存分配和删除代码是否有问题，或者这是 gcc v4.2.2 或 OpenMP 中的错误？我也尝试了 gcc v4.3 并得到了同样的失败。

int main(int argc, char** argv)
{
    std::cout << "start " << std::endl;

    {
            std::vector<std::vector<int*> > nts(100);
            #pragma omp parallel
            {
                    #pragma omp for
                    for(int begin = 0; begin < int(nts.size()); ++begin) {
                            for(int i = 0; i < 1000000; ++i) {
                                    nts[begin].push_back(new int(5));
                            }
                    }
            }

    std::cout << "  pre delete " << std::endl;
            for(int begin = 0; begin < int(nts.size()); ++begin) {
                    for(int j = 0; j < nts[begin].size(); ++j) {
                            delete nts[begin][j];
                    }
            }
    }
    std::cout << "post MT section" << std::endl;
    {
            std::vector<std::vector<int*> > nts(100);
            int begin, i;
            try {
              for(begin = 0; begin < int(nts.size()); ++begin) {
                    for(i = 0; i < 2000000; ++i) {
                            nts[begin].push_back(new int(5));
                    }
              }
            } catch (std::bad_alloc &e) {
                    std::cout << e.what() << std::endl;
                    std::cout << "begin: " << begin << " i: " << i << std::endl;
                    throw;
            }
            std::cout << "pre delete 1" << std::endl;

            for(int begin = 0; begin < int(nts.size()); ++begin) {
                    for(int j = 0; j < nts[begin].size(); ++j) {
                            delete nts[begin][j];
                    }
            }
    }

    std::cout << "end of prog" << std::endl;

    char c;
    std::cin >> c;

    return 0;
}
4

3 回答 3

3

将第一个 OpenMP 循环从 1000000 更改为 2000000 将导致相同的错误。这表明内存不足问题与 OpenMP 堆栈限制有关。

尝试在 bash 中将 OpenMP 堆栈限制设置为无限制

ulimit -s unlimited

您还可以更改 OpenMP 环境变量 OMP_STACKSIZE 并将其设置为 100MB 或更大。

更新1：我将第一个循环更改为

{
    std::vector<std::vector<int*> > nts(100);
    #pragma omp for schedule(static) ordered
    for(int begin = 0; begin < int(nts.size()); ++begin) {
        for(int i = 0; i < 2000000; ++i) {
            nts[begin].push_back(new int(5));
        }
    }

    std::cout << "  pre delete " << std::endl;
    for(int begin = 0; begin < int(nts.size()); ++begin) {
        for(int j = 0; j < nts[begin].size(); ++j) {
            delete nts[begin][j]
        }
    }
}

然后，我在主线程上的 i=1574803 处出现内存错误。

更新 2：如果您使用的是 Intel 编译器，则可以将以下内容添加到代码顶部，它将解决问题（前提是您有足够的内存来承受额外的开销）。

std::cout << "Previous stack size " << kmp_get_stacksize_s() << std::endl;
kmp_set_stacksize_s(1000000000);
std::cout << "Now stack size " << kmp_get_stacksize_s() << std::endl;

更新 3：为了完整性，就像另一位成员提到的那样，如果您正在执行一些数值计算，最好将所有内容预分配在一个新的 float[1000000]中，而不是使用 OpenMP 进行 1000000 次分配。这也适用于分配对象。

于 2010-12-02T15:51:20.727 回答
3

我发现这个问题在其他地方没有 OpenMP 而只是使用 pthreads。多线程时的额外内存消耗似乎是标准内存分配器的典型行为。通过切换到Hoard分配器，额外的内存消耗消失了。

于 2010-12-03T12:04:20.047 回答
0

为什么要int*用作内部向量成员？这是非常浪费的——每个条目都有 4 个字节（sizeof(int)严格来说是 ）的数据和 2-3 倍的堆控制结构。vector试试这个vector<int>，看看它是否运行得更好。

我不是 OpenMP 专家，但这种用法的不对称性似乎很奇怪——你在并行部分填充向量并在非并行代码中清除它们。不能告诉你这是否是错误的，但它“感觉”是错误的。

于 2010-12-02T15:18:53.273 回答