问题标签 [rdma]

Linux 中有没有像 tcpdump 这样的实用程序来捕获通过 RDMA 通道的流量？(Infiniband/RoCE/iWARP)

我有一个使用 infiniband rdmacm 库 rdmacm.so 的程序

在一台计算机（Ubuntu 服务器）上，我可以毫无问题地运行它。在我的开发 PC（Ubuntu 桌面版）上，我得到：

./test-client rdmacm.so：无法打开共享对象文件：没有这样的文件或目录

这就是我难过的地方。

ldd rdma 客户端

猫 /etc/ld.so.conf

猫 /etc/ld.so.conf.d/*.conf

ls -l /usr/lib/librdmacm*

一切看起来都是正确的。为什么我不能运行测试客户端。

编辑

我使用的代码来自 geekinthecorner 博客。Infiniband 测试应用程序。

在客户端它有几个 dlopen 调用：

IE

这适用于 ubuntu 服务器。但是在我的开发台式机上它找不到库。

如果我将库重命名为这样

他们被发现了。dlopen 不会自动添加“lib”吗？我假设是的，我的服务器上必须是这种情况，因为没有这个就找到了库。

无论如何，我不确定我是否需要这些 dlopen 调用。我可以完全删除它们并且程序可以正常工作。但是，鉴于路径和 /etc/ld.so.conf 设置包含相同的搜索路径，现在我很好奇为什么 dlopen 在两台机器上的性能不同。

我正在尝试编写一个小程序来演示通过 iWarp 进行远程 DMA。我加载了softiwarp Linux内核模块并编译了用户空间库。

我正在寻找说明设置连接的文档或示例代码，例如，向远程端发送一个简单的数据块（“Hello World！”）让我开始，但我能找到的只是 OpenFabrics 的培训网站网站，这根本没有帮助。

函数 ibv_get_cq_event() 阻塞并且即使在销毁所有资源后也永远不会返回。

我初始化所有 InfiniBand 资源，在单独的线程中启动 ibv_get_cq_event，然后销毁所有 InfiniBand 资源，但 ibv_get_cq_event 永远不会返回。

什么是正确的初始化和销毁​​ IB (RDMA)？

如何使用 RDMA 在 Windows 下将内存块从一台服务器复制到另一台服务器？我们没有 infiniband，但我们有 10gb 网络交换机。我需要的只是一个例子，但我对谷歌的运气并不好。

编辑：

好吧，到目前为止没有人回答我的问题。我只需要一个示例的链接，或者几个函数的名称。到目前为止，我阅读的所有内容似乎都在驱动程序 SDK 或套接字中。我想在我们的软件中使用 RDMA 来更新来自主服务器的本地数据副本。数据最大为 10GB。大多数时候更新大约为 1GB，但如果服务器必须重新启动，则整个压缩数据集为 10GB。我想几乎不断地更新一些数据，RDMA 似乎是要走的路。

我正在尝试诊断 ibv_reg_mr() 在我使用的软件中引发的内存分配错误，我怀疑它与某些 Mellanox Infiniband 卡的已知问题有关，其中可以注册的默认最大内存约为 2GB（请参阅FAQ #18 在这里http://www.open-mpi.org/faq/?category=openfabrics）。

我希望能够明确确认是否是这种情况，以便我可以快速与我的系统管理员协商解决方案。由于不熟悉 RDMA 和 Infiniband，有人可能会建议（a）一个可以注册任意数量内存的简单程序，以便我可以在最大允许值处触发错误，或者（b）建议一种方法，我考虑到我没有 root 访问权限，可以确定当前配置 Infiniband 的方式吗？

感谢大家！

杰森

infiniband (RDMA) 的最大电缆长度是多少？

例如。这里已经说过，对于四通道铜缆，它可以达到10 M。并使用使用光纤的连接电缆，它与标准 InfiniBand 4x 和以太网 10GBaseCX4 完全电气兼容，最大100 M：

http://electronicdesign.com/communications/system-extends-infiniband-cable-reach-100-m

我想知道操作系统在启动 RDMA 时的作用。谁启动它 OS 或 CPU？RDMA 启动后操作系统会发生什么？

我从未使用过 RDMA。尽管在单台 PC 上，我运行了使用 DMA 进行内存传输的命令。我可以通过以太网使用 RDMA（我正在使用支持 10BASE-T、100BASE-TX 的交换机）。

我将使用 MPI 从两台独立于 CPU 的机器访问数据。

那可能吗？还是我必须购买特殊的硬件？

我正在尝试将 SoftiWARP 用于项目。我使用此处的说明安装了它，我按照这个词安装了它，除了我使用的是 Ubuntu 10.04 服务器。

为了测试它，我使用了来自 the-geek-in-the-corner ( https://github.com/tarickb/the-geek-in-the-corner ) 的客户端-服务器程序。我在使用它时遇到错误和分段错误。例如，这是第一个程序的错误序列：

1. 启动服务器：./server
2. 运行客户端：./client
3. 我可以成功运行客户端几次（>=0）次，但最终在客户端出现以下错误：

地址已解决。路线解决。on_event：未知事件。on_completion：状态不是 IBV_WC_SUCCESS

所以，我的问题是，是否有人拥有经过 SoftiWARP 测试的代码？我也很感谢对 SoftiWARP 稳定性的任何评论（即它是否适用于未修改的 ibverbs 代码？）。