问题标签 [mellanox]

我在[ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE]ubuntu 3.13.0 上使用带有 OFED 版本 4-1.0.0 的 InfiniBand Mellanox 卡，该卡在具有 4 个内核的 x86_64 计算机上运行。

这是ibstat我电脑上的结果

我的/proc/interrupts样子是这样的：

我读到每个mlx4_0-x中断都与每个 CPU 相关联。我的问题是：第一个中断是什么mlx4-async@pci:0000:01:00.0意思？我实验当opensm守护进程尚未运行时，此中断每 5 分钟发生一次。

我有一个用于 ESXi 实验室的小型 Mellanox SAN。我一直在上面运行 ESXi 5.1，所以我决定尝试 5.5 和 6.0 来获得经验。当我在http://www.mellanox.com/page/products_dyn?product_family=36上找到驱动程序时，它说：

注意：要获取 ESXi 5.X v1.8.2.4 的驱动程序，请联系 support@mellanox.com。

所以，我联系了支持，得到了这个回复：

根据我们的记录，我们无法为您找到任何有效的合同。

如果没有非商业目的的支持合同，如何合法地获得驱动程序？

我是在 Mellanox Infiniband 硬件上玩 RDMA 的 Infiniband/RDMA 新手。我在这里使用了源代码。乍一看，程序运行很正常：服务器使用 RDMA_WRITE 操作将一些字节写入客户端内存。但是，我后来发现，写入完成结构（ibv_wc）表示的传输字节数与我放入ibv_send_wr结构的数据量不匹配。这是 rdma_write() 中 ibv_send_wr 初始化的代码：

然后我在写完成队列中得到一个写完成条目后读取 ibv_wc.byte_len 。它显示随机数：32537、32743、32533。我假设传输成功，因为 ibv_wc.status 等于 IBV_WC_SUCCESS。我做错什么了吗？

我正在尝试在 Mellanox ConnectX-3 卡上设置 DPDK 并运行它附带的一些应用程序，例如 l2fwd。我的理解是我需要使用 DPDK 发行版附带的 dpdk_nic_bind.py 脚本将端口绑定到 Mellanox 卡 PMD 驱动程序。但是，dpdk_nic_bind.py 不是我的 Mellanox 卡。

一般来说，我需要做绑定吗？如果是，如何？如果没有，如何启用 PMD 驱动程序？

我想开发一个能够发送/接收 RDMA 消息的内核模块。我想知道是否可以从内核空间调用 Mellanox 库。

我可以从内核模块调用 Mellanox RDMA 函数吗？

答：我这里有一些工作代码：https ://github.com/jcarreira/disag-firebox

我使用 rsocket 编写了简单的客户端和服务器程序 - RDMA 套接字 API 使用以下版本的 librdmacm-dev 和 librdmacm1 包（使用 Ubuntu 14.04）：

librdmacm1/trusty 1.0.16-1 i386 librdmacm-dev/trusty 1.0.16-1 i386

1. 当服务器启动时，它在 rselect() 调用中失败，并出现以下错误：

   $ ./rserver 192.168.1.1 8000 rselect: Cannot allocate memory

2. 代替 rsocket API 使用 Unix Socket API 并尝试通过“/usr/lib/rsocket/librspreload.so”的 LD_PRELOADing 运行服务器，但它失败并出现相同的错误：

   $ export LD_PRELOAD=/usr/lib/rsocket/librspreload.so; ./rserver 192.168.1.1 8000 rselect: Cannot allocate memory

我在 rsockets 上没有找到任何好的在线帮助，也没有找到任何示例工作代码？有人可以帮助解决这个问题吗？

我有一个具有 2TB 内存的胖节点。使用新的 Connect-IB 卡，我想增加 MTT，这样我就可以注册一个大的内存区域。我发现这篇文章是关于如何增加Mellanox 适配器使用的内存大小，但它没有提到如何增加 Connect-IB 的内存大小。谁能给我任何建议？

我一直在尝试使 krring 模块工作，可以在这里找到：http ://git.openfabrics.org/?p=~sgrimberg/krping.git;a=summary

我通过 Mellanox ofed kernel 3.3 安装驱动程序。已经从 ofa-kernel/default 复制了 Module.symvers 但它不起作用。

我已经在 ubuntu 12.04 和 14.04 的不同内核上尝试过它。我使用的内核是 3.18、3.5 和 4.0。但是，每次我遇到同样的问题。如果有人编译了 krping 并且可以帮助解决这个问题？特别是内核版本、操作系统和安装他们使用的驱动程序的过程。

制作文件1

生成文件2

以上是我尝试编译模块的两个makefile。建议我可以尝试的任何更改。

我正在使用内核模块在 Infiniband 的内核空间中进行 RDMA 传输（krping.c链接：git.openfabrics.org Git - ~sgrimberg/krping.git/summary）。我拥有的卡是 Mellanox ConnectX-4（驱动程序：mlx5）、Linux 内核版本：3.13、Ubuntu 12.04 和 Mellanox OFED 3.3。

代码似乎停留在获取mutex_lockinmlx5_ib_query_qp函数（在 mlx5_ib.h 中）。它是从krping.c带有ib_req_notify_cq function. 我能否获得有关如何解决此错误/死锁的帮助？我在这篇文章中附加了 dmesg 跟踪。

Dmesg 跟踪：

客户端：

服务器端：

客户端写在内核空间，服务端写在用户空间。wc.status 返回 12。这可能是什么问题？