我正在尝试寻找程序中的错误。它产生
[vaio:10404] Signal: Segmentation fault (11)
[vaio:10404] Signal code: Address not mapped (1)
[vaio:10404] Failing at address: 0x210000
[vaio:10405] [ 0] /lib/x86_64-linux-gnu/libpthread.so.0(+0xfcb0) [0x7fa7857ffcb0]
[vaio:10405] [ 1] /lib/x86_64-linux-gnu/libc.so.6(+0x14fe20) [0x7fa785580e20]
[vaio:10405] [ 2] /usr/lib/libcuda.so.1(+0x1b1f49) [0x7fa78676bf49]
0x210000
是位于 GPU 内存中的地址。我没有统一的地址空间(由于卡限制:sm_12)。
通过运行程序时会出现问题mpiexec -n 2
。也就是说,我启动了 2 个 CPU 进程,它们都在同一个(!)GPU 上创建了自己的上下文(只安装了 1 个 GPU)。像这样:
cuInit(0);
cuDeviceGet(&cuDevice, 0); // get device number 0
cuCtxCreate(&cuContext, 0, cuDevice); // create context
cuMemAlloc( &mem , size ); // allocate memory pool (hundreds of MB)
(这里简化了 - 检查所有 cuda 调用是否有错误返回)
我在相当长的一段时间内都非常成功地使用了这个设置(多个主机进程共享同一个 GPU)。但是,那是在使用 CUDA 运行时 API 时。现在,我正在切换到驱动程序 API。
为了追捕这一点,我从mem
上面的代码中转储出来。事实证明,cuMemAlloc
两个进程返回的内存地址是相同的!这让我很奇怪。在这里转储:
process 0: allocate internal buffer: unaligned ptr = 0x210000 aligned ptr = 0x210000
process 1: allocate internal buffer: unaligned ptr = 0x210000 aligned ptr = 0x210000
我立即检查了从未出现过此类问题的旧代码(运行时 API)。结果它也报告了两个进程(共享同一设备)相同的内存地址。这以前从未引起我的注意。
我觉得这很难相信。明确一点:两个进程都使用cudaMalloc
(运行时 API)和cuMalloc
(驱动程序 API)(大卡上 400MB)请求设备内存,并且两个进程都返回相同的地址?我确信没有一个进程在推进很多并且已经释放了内存,因此第一个进程可以重用相同的内存,因为第一个进程已经终止。不,这块内存被用作内存池来服务后续的内存分配,并且中间有很多同步点。该池在程序终止时被释放。
任何人都知道如何将相同的指针值(内存地址)报告给两个进程,但在 GPU 上这是指不同的内存?(它必须是因为它执行的计算是正确的。如果内存池重叠,情况就不会如此)。据我所知,这是不可能的。我错过了什么?