问题标签 [gpudirect]

我尝试将 GPUDirect 设置为直接在设备内存上使用 infiniband 动词 rdma 调用，而无需使用 cudaMemcpy。我有 2 台装有 nvidia k80 gpu 卡的机器，每台机器的驱动程序版本为 367.27。安装了 CUDA8 和 Mellanox OFED 3.4 还安装了 Mellanox-nvidia GPUDirect 插件：

根据这个线程“ How to use GPUDirect RDMA with Infiniband ”，我有 GPUDirect 的所有要求，下面的代码应该可以成功运行。但它没有，并且 ibv_reg_mr 失败并出现错误“错误地址”，就好像 GPUDirect 没有正确安装一样。

请求的信息：
使用 mlx5。
最后的内核日志：

我错过了什么吗？我需要一些其他数据包还是必须以某种方式在我的代码中激活 GPUDirect？

我的设置：

• NVIDIA Quadro p6000（用于GPUDirect）
• AJA 视频卡（从相机和 SDI 输出到电视的 SDI 馈送）

我试图弄清楚 GPUDirect 的目的是什么（在我的特定情况下），如果我可以使用glTexSubImage2D()任何系统内存填充 GPU 纹理并glGetTextureImageEXT()从 GPU 获取纹理数据来实现相同数量的复制和相同的性能返回到系统内存的任何部分。

我有一个关于 CUDA 感知 MPI 和 GPUDirect 的问题。我正在写一篇论文，其中我相信我正在使用 GPUDirect，但一位审稿人评论说我只使用了支持 CUDA 的 MPI。在我使用的集群上，我安装了 CUDA 8.0.61、PGI 18.1 和 MVAPICH2-GDR/2.3b，并且在 OpenACC 代码中我使用 host_data use_device 在节点内的 GPU 之间直接发送/接收缓冲区（据我所知GPUDirect RDMA 在我目前的情况下不起作用，但我也知道 GPUDirect 有很多级别，它是一个 umbralla 词）。

有人可以对此提供一些想法吗？谢谢！

最好的，

我正在尝试获取有关 RDMA 读写语义（尤其是数据放置语义）的更多详细信息，并且我想在这里与专家确认我的理解。

1. RDMA 读取：

一旦在完成队列中看到 RDMA 读取完成，数据是否在本地缓冲区中可用/可见。如果我使用 GPU Direct DMA 并且本地地址映射到 GPU 内存，行为是否相同。一旦在完成队列中看到 RDMA READ 完成，数据是否会立即在 GPU 中可用。如果它不是立即可用的，什么操作将确保它。

2. 使用立即（或）RDMA 写入 + 发送的 RDMA 写入：

远程主机在看到接收队列中的即时数据后，是否可以检查其内存中是否存在数据。如果写入到 GPU 内存（使用 GDR），期望/行为是否会改变。