1

我尝试将 GPUDirect 设置为直接在设备内存上使用 infiniband 动词 rdma 调用，而无需使用 cudaMemcpy。我有 2 台装有 nvidia k80 gpu 卡的机器，每台机器的驱动程序版本为 367.27。安装了 CUDA8 和 Mellanox OFED 3.4 还安装了 Mellanox-nvidia GPUDirect 插件：

-bash-4.2$ service nv_peer_mem status
nv_peer_mem module is loaded.

根据这个线程“ How to use GPUDirect RDMA with Infiniband ”，我有 GPUDirect 的所有要求，下面的代码应该可以成功运行。但它没有，并且 ibv_reg_mr 失败并出现错误“错误地址”，就好像 GPUDirect 没有正确安装一样。

void * gpu_buffer;
struct ibv_mr *mr;
const int size = 64*1024;
cudaMalloc(&gpu_buffer,size); // TODO: Check errors
mr = ibv_reg_mr(pd,gpu_buffer,size,IBV_ACCESS_LOCAL_WRITE|IBV_ACCESS_REMOTE_WRITE|IBV_ACCESS_REMOTE_READ);

请求的信息：
使用 mlx5。
最后的内核日志：

[Nov14 09:49] mlx5_warn:mlx5_0:mlx5_ib_reg_user_mr:1418:(pid 4430): umem get failed (-14)

我错过了什么吗？我需要一些其他数据包还是必须以某种方式在我的代码中激活 GPUDirect？

4

1 回答 1

3

nv_peer_mem 模块失败的一个常见原因是与统一内存 (UVM) 的交互。您可以尝试禁用 UVM：

export CUDA_DISABLE_UNIFIED_MEMORY=1

?

如果这不能解决您的问题，您应该尝试从https://github.com/NVIDIA/gdrcopyvalidation运行和测试以检查 GPUDirectRDMA。如果它有效，那么您的 Mellanox 堆栈配置错误。copybw

于 2016-11-18T06:27:16.337 回答