问题标签 [infiniband]

函数 ibv_get_cq_event() 阻塞并且即使在销毁所有资源后也永远不会返回。

我初始化所有 InfiniBand 资源，在单独的线程中启动 ibv_get_cq_event，然后销毁所有 InfiniBand 资源，但 ibv_get_cq_event 永远不会返回。

什么是正确的初始化和销毁​​ IB (RDMA)？

函数 ibv_post_recv() 返回 -1，但根据文档，它应该返回 errno。

在这种情况下如何知道失败的原因？

此致，

我正在尝试诊断 ibv_reg_mr() 在我使用的软件中引发的内存分配错误，我怀疑它与某些 Mellanox Infiniband 卡的已知问题有关，其中可以注册的默认最大内存约为 2GB（请参阅FAQ #18 在这里http://www.open-mpi.org/faq/?category=openfabrics）。

我希望能够明确确认是否是这种情况，以便我可以快速与我的系统管理员协商解决方案。由于不熟悉 RDMA 和 Infiniband，有人可能会建议（a）一个可以注册任意数量内存的简单程序，以便我可以在最大允许值处触发错误，或者（b）建议一种方法，我考虑到我没有 root 访问权限，可以确定当前配置 Infiniband 的方式吗？

感谢大家！

杰森

是否可以在 Akka 中使用 infiniband 而不是 TCP/IP？我想在本地集群上将 Akka 用于 HPC，而使用 TCP/IP 的网络瓶颈很严重......

我在 RHEL 6.2 上使用 Mellanox Connext-X 3 QDR 卡。我使用了 OFED 1.5.4，因为它包含 SDP。在将套接字配置为非阻塞模式的 TCP 应用程序中，我在 LD_PRELOAD 模式下使用 SDP 时收到 EAGAIN 错误消息。有什么想法吗？

我正在尝试用 C++ 制作一个小型服务器，它可以简单地回显它通过 infiniband 连接接收到的任何内容。我还在 Ubuntu 下使用 Sockets Direct Protocol 和 POSIX 套接字。

不幸的是，我在互联网上找到的唯一建议是关于如何使用 AF_INET_SDP 域创建套接字，就像这里一样：

我设法绑定套接字，我调用了listen（...）函数，但是服务器在尝试接受连接时挂起，而在客户端我只在尝试连接时收到超时。

我还有一个用 Java（客户端和服务器）编写的较旧的类似应用程序，它通过 infiniband 进行通信并且可以正常工作。

有人可以给我一个使用 infiniband 的应用程序示例，或者向我指出某种可以帮助我的文档吗？

谢谢。

我正在运行在 7 节点集群上执行大型矩阵转换的应用程序。节点通过 QDR 40 Gbit Infiniband 连接。系统上安装了 Open MPI 1.4.3。

给定矩阵变换需要节点之间以这样一种方式进行大量数据交换，即在每个算法步骤中，有一个节点发送数据，所有其他节点接收。进程数等于使用的节点数。我不得不说我在 MPI 方面相对较新，但执行此操作的理想方法似乎是使用 MPI_Bcast。

对于一些不太大的矩阵，一切都很好。但是，当矩阵大小增加时，有时应用程序会挂起并永远停留在那里。

我不完全确定，但我的代码似乎没有错误。我详细跟踪了它，以检查在特定调用 MPI_Bcast 之前是否有一些未完成的集体操作，但一切看起来都很好。此外，对于该特定调用，在所有进程中都正确设置了 root 以及消息类型和大小，当然，在所有进程中都会调用 MPI_Bcast。

我还运行了很多场景（在不同大小的矩阵上运行应用程序并更改进程数量）以确定何时发生这种情况。可以观察到的情况如下：

• 对于相同大小的矩阵，如果我决定进程数，应用程序成功完成
• 但是，对于给定数量的进程，应用程序将挂起一些稍大的矩阵
• 对于给定的矩阵大小和我有程序挂起的进程数，如果我在每个 MPI_Bcat 调用中减小消息的大小两次（当然结果不会正确），就不会挂起

所以，在我看来，问题可能出在 MPI 使用的某些缓冲区中，也许应该更改一些默认的 MCA 参数，但是，正如我所说，我在 MPI 编程方面没有很多经验，我还没有找到这个问题的解决方案。所以，问题是是否有人遇到过类似的问题，也许知道这是否可以通过设置适当的 MCA 参数来解决，或者知道任何其他解决方案或解释？

infiniband (RDMA) 的最大电缆长度是多少？

例如。这里已经说过，对于四通道铜缆，它可以达到10 M。并使用使用光纤的连接电缆，它与标准 InfiniBand 4x 和以太网 10GBaseCX4 完全电气兼容，最大100 M：

http://electronicdesign.com/communications/system-extends-infiniband-cable-reach-100-m

我正在尝试local_thr/remote_thr在 MSVS2012 上编译的 SDP（infiniband）上运行 ZeroMQ。但它没有连接。

在 IPoIB 上它工作正常。操作系统是 Windows Server 2008 R2。经过进一步调查，我发现select()ZeroMQ 库中的调用不适用于异步accept()和send(). 我还使用 BSD 套接字 API 创建了一个测试应用程序，并用于select接受非阻塞套接字上的连接。但是select没有收到事件accept。

请让我知道可以采取哪些措施来解决此问题。

我正在尝试将 SoftiWARP 用于项目。我使用此处的说明安装了它，我按照这个词安装了它，除了我使用的是 Ubuntu 10.04 服务器。

为了测试它，我使用了来自 the-geek-in-the-corner ( https://github.com/tarickb/the-geek-in-the-corner ) 的客户端-服务器程序。我在使用它时遇到错误和分段错误。例如，这是第一个程序的错误序列：

1. 启动服务器：./server
2. 运行客户端：./client
3. 我可以成功运行客户端几次（>=0）次，但最终在客户端出现以下错误：

地址已解决。路线解决。on_event：未知事件。on_completion：状态不是 IBV_WC_SUCCESS

所以，我的问题是，是否有人拥有经过 SoftiWARP 测试的代码？我也很感谢对 SoftiWARP 稳定性的任何评论（即它是否适用于未修改的 ibverbs 代码？）。