17

我最近在运行一些比较网络性能与环回性能的性能测试时偶然发现了一个有趣的 TCP 性能问题。在我的情况下，网络性能超过了环回性能（1Gig 网络，相同子网）。在我处理延迟的情况下，延迟至关重要，因此启用了 TCP_NODELAY。我们提出的最好的理论是 TCP 拥塞控制阻止了数据包。我们做了一些数据包分析，我们可以肯定地看到数据包被持有，但原因并不明显。现在问题...

1）在什么情况下，为什么，通过环回通信会比通过网络慢？

2) 当尽可能快地发送时，为什么切换 TCP_NODELAY 对环回最大吞吐量的影响比网络上的影响大得多？

3) 我们如何检测和分析 TCP 拥塞控制作为性能不佳的潜在解释？

4）对于这种现象的原因，是否有人有任何其他理论？如果是，有什么方法可以证明这个理论？

以下是一个简单的点对点 c++ 应用程序生成的一些示例数据：

传输消息大小（字节） TCP NoDelay 发送缓冲区（字节） 发送方主机 接收方主机吞吐量（字节/秒） 消息速率（毫秒/秒）
TCP 128 On 16777216 HostA HostB 118085994 922546
TCP 128 关闭 16777216 主机 A 主机 B 118072006 922437
TCP 128 On 4096 HostA HostB 11097417 86698
TCP 128 关闭 4096 HostA HostB 62441935 487827
TCP 128 On 16777216 HostA HostA 20606417 160987
TCP 128 关闭 16777216 HostA HostA 239580949 1871726
TCP 128 On 4096 HostA HostA 18053364 141041
TCP 128 关闭 4096 HostA HostA 214148304 1673033
UnixStream 128 - 16777216 HostA HostA 89215454 696995
Unix数据报 128 - 16777216 HostA HostA 41275468 322464
NamedPipe 128 - - HostA HostA 73488749 574130

这里还有一些有用的信息：

  • 我只通过小消息看到这个问题
  • HostA 和 HostB 都具有相同的硬件套件（Xeon X5550@2.67GHz，总共 32 个内核/128 Gig Mem/1Gig Nics）
  • 操作系统是 RHEL 5.4 内核 2.6.18-164.2.1.el5)

谢谢你

4

3 回答 3

9

1）在什么情况下，为什么，通过环回通信会比通过网络慢？

Loopback 将 tx+rx 的数据包设置 + tcp chksum 计算放在同一台机器上，因此它需要进行 2 倍的处理，而使用 2 台机器，您可以在它们之间拆分 tx/rx。这会对环回产生负面影响。

2)当尽可能快地发送时，为什么切换TCP_NODELAY对环回最大吞吐量的影响比网络上的影响大得多？

不知道你是怎么得出这个结论的，但是环回与网络的实现方式非常不同，如果你试图将它们推到极限，你会遇到不同的问题。环回接口（如对 1 的回答中所述）导致同一台机器上的 tx+rx 处理开销。另一方面，网卡在其循环缓冲区中可以有多少未完成的数据包等方面有一定的限制，这将导致完全不同的瓶颈（这在芯片之间也有很大差异，甚至从两者之间的交换机也有很大差异）他们）

3)我们如何检测和分析 TCP 拥塞控制作为性能不佳的潜在解释？

拥塞控制只有在丢包的情况下才会启动。你看到丢包了吗？否则，您可能会遇到 tcp 窗口大小与网络延迟因素的限制。

4）对于这种现象的原因，是否有人有任何其他理论？如果是，有什么方法可以证明这个理论？

我不明白你在这里提到的现象。我在你的表中看到的是你有一些带有大发送缓冲区的套接字——这可能是完全合法的。在一台快速机器上，您的应用程序肯定能够生成比网络可以输出更多的数据，所以我不确定您在这里将什么归类为问题。

最后一点：由于各种原因，小消息会对您的网络造成更大的性能影响，例如：

  • 每个数据包的开销是固定的（对于 mac+ip+tcp 标头），有效负载越小，您将拥有的开销就越多。
  • 许多 NIC 限制都与未完成数据包的数量相关，这意味着当使用较小的数据包时，您将遇到 NIC 瓶颈而数据量少得多。
  • 网络本身作为每个数据包的开销，因此您可以通过网络抽取的最大数据量再次取决于数据包的大小。
于 2011-05-12T22:28:01.540 回答
1

1 或 2）我不确定你为什么要费心使用环回，我个人不知道它与真实界面的相似程度以及它的有效性。我知道微软禁用了环回接口的 NAGLE（如果你关心的话）。看看这个链接，有一个关于这个的讨论。

3）我会仔细查看这两种情况下的前几个数据包，看看你是否在前五个数据包中遇到了严重的延迟。看这里

于 2011-04-29T19:11:51.993 回答
1

这也是我面临的同样问题。在同一台 RHEL6 机器上运行的两个组件之间传输 2 MB 数据时，需要 7 秒才能完成。当数据量很大时，时间是不可接受的。传输 10 MB 数据需要 1 分钟。

然后我尝试了 TCP_NODELAY禁用。它解决了问题

当这两个组件位于两台不同的机器中时，不会发生这种情况。

于 2013-08-30T04:57:20.617 回答