问题标签 [ofed]

我在 RHEL 6.2 上使用 Mellanox Connext-X 3 QDR 卡。我使用了 OFED 1.5.4，因为它包含 SDP。在将套接字配置为非阻塞模式的 TCP 应用程序中，我在 LD_PRELOAD 模式下使用 SDP 时收到 EAGAIN 错误消息。有什么想法吗？

当我在 InfiniBand 上运行 MPI 作业时，我得到以下磨损。我们使用扭矩管理器。

我已经阅读了警告消息上的链接，到目前为止我所做的是；

1. 附加options mlx4_core log_num_mtt=20 log_mtts_per_seg=4在/etc/modprobe.d/mlx4_en.conf.
2. 确保以下行写在/etc/security/limits.conf
   • * soft memlock unlimited
   • * hard memlock unlimited
3. 附加session required pam_limits.so在/etc/pam.d/sshd
4. 确保ulimit -c unlimited未注释/etc/init.d/pbs_mom

谁能帮我找出我错过了什么？

目前我正在使用Apache 的 Commons Net 库通过 FTP 协议将一些应用程序文件（2KB 到 200MB）从一台 AIX 服务器传输到另一台服务器。我开始知道存在另一种协议，即通过Infiniband或OFED（OpenFabrics Enterprise Distribution）的SDP（套接字直接协议），它提供了一种高性能、低延迟、可靠的交换结构，可用作可扩展的 I/O 互连。Java 7 及更高版本为此协议提供了用于 SDP 的 Java API 。

谁能详细说明从 FTP 转向 SDP 的意义和挑战。

我正在为我的应用程序使用 Infiniband 驱动程序的 OFED 3.18r2 实现。特别是我正在使用 rdma 连接管理器包装函数。为了更好地了解幕后发生的事情，我习惯于查看源代码。这样做我遇到了一些看起来像模式但我无法理解的东西。让我们举个例子。rdma 连接管理器函数在 cma.c 中。以 rdma_listen 调用为例（这对于库中定义的几乎所有以“rdma_”开头的函数都很常见）：

在这里你可以看到我之前提到的模式：

write 调用的第一个参数是与/dev/infiniband/rdma_cm关联的文件描述符，但我无法理解cmd参数的用法。我深入研究了源代码，却发现cmd是一个用于 rdma cm 函数调用的 ABI 定义的结构。我真的不明白这是否是执行设备驱动程序调用的常见模式以及它是如何工作的，与 cmd 参数关联的真实代码在哪里。请你帮助我好吗？

我对 JSOR 和 jVerbs 都有基本的了解。

两者都处理 JNI 的限制并使用快速路径来减少延迟。它们都使用用户动词 RDMA 接口来避免上下文切换并提供快速路径访问。两者都具有零拷贝传输选项。

不同的是，JSOR 仍然使用 Java Socket 接口。jVerbs 提供了一个新的接口。jVerbs 还有一个叫做 Stateful Verbs Call 的东西来避免 RDMA 请求的重复序列化，他们说这可以减少延迟。jVerbs 提供了更原生的接口，应用程序可以直接使用这些接口。我阅读了 jVerbs SoCC 2013 论文，他们在 jVerbs 之上构建了 jverbsRPC，并表明它显着减少了 zookeeper 和 memcache 操作的延迟。

两者的文档都表明它们比基于 TCP/IP、SDP 和 IPoIB 的常规 Java 套接字执行得更好。

我没有 JSOR 和 jVerbs 之间的任何性能比较。我认为 jVerbs 可能比 JSOR 表现更好。但是，使用 JSOR，我不必更改现有代码，因为它仍然使用相同的 java 套接字接口。我的问题是，相对于 JSOR，使用 jVerbs 的性能增益可能是多少。有没有人知道或有处理这两者的经验？如果您有任何比较数据，那就太好了。我找不到任何东西。

我想开发一个能够发送/接收 RDMA 消息的内核模块。我想知道是否可以从内核空间调用 Mellanox 库。

我可以从内核模块调用 Mellanox RDMA 函数吗？

答：我这里有一些工作代码：https ://github.com/jcarreira/disag-firebox

我正在开发一个广泛使用 RDMA 的系统（在 Mellanox 硬件上），并且希望能够更有效/更快地注册内存区域。

我查看了快速内存注册，我有几个问题：

1. FMR 会消失吗？从这里 [1] 看来它可能很快就会被删除/替换。

2. 是否有任何使用此功能的用户空间代码？在线讨论这个问题的线程很少，而且主要是在内核模块的上下文中。

任何有用的指针将不胜感激。

[1] https://jira.hpdd.intel.com/browse/LU-5783

我正在尝试使用内存窗口，并且在调用ibv_alloc_mw（具有两种类型的 MW）时得到EPERM (errno=1 )。

我有 mellanox ConnectX-3 卡和以下 OFED：

看来我的卡应该支持这个功能：

在 Mellanox OFED 中运行rping时出现相同的错误：

Mellanox 甚至支持 ibv_alloc_mw 吗？

编辑：

我可以访问 ConnectX-4 卡并遇到同样的错误。我还可以看到，每当我尝试使用内存窗口选项运行rping时，都会记录一个错误：

据我了解，如果系统仅具有底层 Infiniband 连接（即不是 iWarp 或任何其他 DAPL 可以用作替代方案的系统），那么 DAPL 仅作为 OFA/Infiniband 之上的抽象层存在。

如果是这种情况，那么如果 DAPL 仅依赖于 OFA 作为其下的唯一层，那么 DAPL 怎么能提供比 OFA 更多的功能呢？ OFED 堆栈

我正在设置 Infiniband 网络，但我并没有完全了解不同软件堆栈之间的区别。

• OFED https://www.openfabrics.org/ofed-for-linux/
• MLNX OFED https://www.mellanox.com/page/products_dyn?product_family=27&mtag=linux_driver
• 收件箱驱动程序https://www.mellanox.com/page/inbox_drivers?ssn=rqv8l7g7mctjofplp2sgdg35k5

它们是如何相互关联的，为什么我应该更喜欢其中之一？