3

我正在尝试寻找程序中的错误。它产生

[vaio:10404] Signal: Segmentation fault (11) 
[vaio:10404] Signal code: Address not mapped (1) 
[vaio:10404] Failing at address: 0x210000
[vaio:10405] [ 0] /lib/x86_64-linux-gnu/libpthread.so.0(+0xfcb0) [0x7fa7857ffcb0]
[vaio:10405] [ 1] /lib/x86_64-linux-gnu/libc.so.6(+0x14fe20) [0x7fa785580e20]
[vaio:10405] [ 2] /usr/lib/libcuda.so.1(+0x1b1f49) [0x7fa78676bf49]

0x210000是位于 GPU 内存中的地址。我没有统一的地址空间(由于卡限制:sm_12)。

通过运行程序时会出现问题mpiexec -n 2。也就是说,我启动了 2 个 CPU 进程,它们都在同一个(!)GPU 上创建了自己的上下文(只安装了 1 个 GPU)。像这样:

cuInit(0);
cuDeviceGet(&cuDevice, 0); // get device number 0
cuCtxCreate(&cuContext, 0, cuDevice); // create context
cuMemAlloc( &mem , size );  // allocate memory pool (hundreds of MB)

(这里简化了 - 检查所有 cuda 调用是否有错误返回)

我在相当长的一段时间内都非常成功地使用了这个设置(多个主机进程共享同一个 GPU)。但是,那是在使用 CUDA 运行时 API 时。现在,我正在切换到驱动程序 API。

为了追捕这一点,我从mem上面的代码中转储出来。事实证明,cuMemAlloc两个进程返回的内存地址是相同的!这让我很奇怪。在这里转储:

process 0: allocate internal buffer: unaligned ptr = 0x210000  aligned ptr = 0x210000
process 1: allocate internal buffer: unaligned ptr = 0x210000  aligned ptr = 0x210000

我立即检查了从未出现过此类问题的旧代码(运行时 API)。结果它也报告了两个进程(共享同一设备)相同的内存地址。这以前从未引起我的注意。

我觉得这很难相信。明确一点:两个进程都使用cudaMalloc(运行时 API)和cuMalloc(驱动程序 API)(大卡上 400MB)请求设备内存,并且两个进程都返回相同的地址?我确信没有一个进程在推进很多并且已经释放了内存,因此第一个进程可以重用相同的内存,因为第一个进程已经终止。不,这块内存被用作内存池来服务后续的内存分配,并且中间有很多同步点。该池在程序终止时被释放。

任何人都知道如何将相同的指针值(内存地址)报告给两个进程,但在 GPU 上这是指不同的内存?(它必须是因为它执行的计算是正确的。如果内存池重叠,情况就不会如此)。据我所知,这是不可能的。我错过了什么?

4

1 回答 1

4

您缺少虚拟寻址的概念。

每个 CPU 线程都有自己的 CUcontext,每个 CUcontext 都有自己的 GPU虚拟地址空间。从 API 返回的地址是虚拟的,主机驱动程序和/或设备将虚拟地址转换为 GPU 内存中的绝对地址。有大量证据表明,GPU 有一个专门的板载 TLB 正是为此目的。

于 2012-10-20T12:46:03.530 回答