我正在处理用于计算物理的庞大 C++ 代码（我没有编写），它使用system()调用来调用其他可执行文件。有时在模拟过程中，system()即使对于简单的调用，这些调用也会失败，例如system("echo something);当它们失败时，它们会立即返回并返回值 -1。
我创建了一个版本的代码，它使用popen()而不是system()启动这些其他可执行文件。在这个版本中，popen() 失败并且 errno 设置为 12 (ENOMEM)。
这是通过 Torque PBS 系统在运行 CentOS 6.3（通过 ROCKS 6.1）的 96GB RAM 的机器上运行的。
请注意，这种行为有点不常见，但它似乎发生在使用大量内存的模拟中——但远低于可用内存量。
我目前有一个正在运行的模拟，它表现出这种行为。它试图system()每 30 秒调用一次，但失败了，这让我可以监控操作系统内存资源。的内容/proc/meminfo是
MemTotal: 99195180 kB
MemFree: 1758804 kB
Buffers: 14612 kB
Cached: 46502432 kB
SwapCached: 7004 kB
Active: 60758772 kB
Inactive: 35238760 kB
Active(anon): 45458924 kB
Inactive(anon): 4024068 kB
Active(file): 15299848 kB
Inactive(file): 31214692 kB
Unevictable: 9752 kB
Mlocked: 9752 kB
SwapTotal: 1023992 kB
SwapFree: 999432 kB
Dirty: 16 kB
Writeback: 8 kB
AnonPages: 49483620 kB
Mapped: 10292 kB
Shmem: 8 kB
Slab: 235356 kB
SReclaimable: 193468 kB
SUnreclaim: 41888 kB
KernelStack: 2120 kB
PageTables: 99536 kB
NFS_Unstable: 4 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 50621580 kB
Committed_AS: 49576180 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 482936 kB
VmallocChunk: 34307833876 kB
HardwareCorrupted: 8 kB
AnonHugePages: 43315200 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 5568 kB
DirectMap2M: 2082816 kB
DirectMap1G: 98566144 kB
/proc/5939/status（这是有问题的过程）的内容是
Name: BAD_EXECUTABLE
State: S (sleeping)
Tgid: 5939
Pid: 5939
PPid: 5938
TracerPid: 0
Uid: 505 505 505 505
Gid: 505 505 505 505
Utrace: 0
FDSize: 256
Groups: 426 505 801
VmPeak: 49733876 kB
VmSize: 49482532 kB
VmLck: 0 kB
VmHWM: 49721496 kB
VmRSS: 49470248 kB
VmData: 49481080 kB
VmStk: 128 kB
VmExe: 1316 kB
VmLib: 0 kB
VmPTE: 96656 kB
VmSwap: 10624 kB
Threads: 1
SigQ: 0/774828
SigPnd: 0000000000000000
ShdPnd: 0000000000000000
SigBlk: 0000000000000000
SigIgn: 0000000000001000
SigCgt: 0000000000000000
CapInh: 0000000000000000
CapPrm: 0000000000000000
CapEff: 0000000000000000
CapBnd: ffffffffffffffff
Cpus_allowed: ffffff
Cpus_allowed_list: 0-23
Mems_allowed: 00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000003
Mems_allowed_list: 0-1
voluntary_ctxt_switches: 57003
nonvoluntary_ctxt_switches: 1057385
我对如何调试这个问题有点不知所措，特别是因为我无法用较小的模拟重新创建它。我的模拟说它使用了 47GB 内存，而/proc/meminfo显示只有不到 2GB 的 96GB 内存是可用的，并且不应该有任何其他运行使用数十 GB 内存的东西。
这个论坛似乎表明以前的内存错误可能已经损坏了堆。这是一个有效的可能性吗？还有什么可以帮助我缩小这个问题的范围？