5

是否可以复用 sa 套接字连接?

我需要建立到 yahoo messenger 的多个连接,并且我正在寻找一种方法来有效地做到这一点,而不必为每个客户端连接打开一个套接字。

到目前为止,我必须为每个客户端使用一个套接字,但这并不能很好地扩展到超过 50,000 个连接。

哦,我的解决方案是针对电信公司的,所以我需要至少达到 250,000 到 500,000 个连接

我计划将多个 IP 地址绑定到单个 NIC,以克服每个 IP 地址的 65k 端口限制。

请我有任何帮助,我能得到的见解。

**我在这个网站上的大多数其他问题都没有得到解答:) **

谢谢

4

5 回答 5

2

虽然您可以在套接字上侦听多个传入连接请求,但在建立连接时,它将服务器上的唯一端口连接到客户端上的唯一端口。为了多路复用连接,您需要控制管道的两端并拥有一个协议,该协议允许您将上下文从一个虚拟连接切换到另一个虚拟连接,或者使用不关心客户端身份的无状态协议。在前一种情况下,您需要在应用程序层中实现它,以便您可以重用现有连接。在后一种情况下,您可以通过使用跟踪哪个服务器响应到哪个客户端的代理来获得。既然你连接到雅虎通,我不认为你'

于 2009-03-20T10:53:38.503 回答
2

这是一个关于在严重情况下扩展的有趣问题。

您实质上是在问,“我如何建立到 Internet 服务的 N 个连接,其中 N >= 250,000”。

有效且高效地做到这一点的唯一方法是集群。您不能在单个主机上执行此操作,因此您需要能够将您的客户端群分割和划分为多个不同的服务器,以便每个服务器只处理一个子集。

这个想法是让单个服务器保持打开尽可能少的连接(均匀地分散连接),同时保持足够的连接以通过将服务器间通信保持在最低水平来使您托管的任何服务都可行。这意味着任何两个相关的连接(例如两个经常互相交谈的帐户)都必须位于同一主机上。

您将需要可以处理此问题的服务器和网络基础设施。您将需要一个 IP 地址子网,每台服务器都必须与 Internet 进行无状态通信(即您的路由器不会进行任何 NAT 以便不必跟踪 250,000 多个连接)。

您将不得不与 AOL 交谈。如果不考虑切断您的连接,AOL 将无法处理这种级别的连接。这种规模的任何服务都必须与 AOL 协商,以便您和他们都能够处理连接。

您应该研究一些 i/o 多路复用技术。想到了 Kqueue 和 epoll。

为了编写这个大规模并发和电信级的解决方案,我建议研究 erlang。Erlang 专为诸如此类的情况而设计(多服务器、大规模多客户端、大规模多线程电信级软件)。它目前用于运行爱立信电话交换机。

于 2009-03-20T11:30:26.620 回答
1

如果另一端支持这样的操作,您只能在一个套接字上多路复用多个连接。换句话说,它是一个函数协议——套接字对它没有任何原生支持。

我怀疑 yahoo messenger 协议对它有任何支持。

另一种方法(单个 NIC 上的多个 IP)是设计自己的多路复用协议,并拥有从多路复用协议转换为 yahoo 协议的卫星服务器。

于 2009-03-20T10:51:48.243 回答
1

我将介绍您可以考虑的另一种方法(取决于您的绝望程度)。

请注意,操作系统 TCP/IP 实现必须是通用的,但您只对非常具体的用例感兴趣。因此,在您的应用程序代码中实现 TCP/IP 的精简版本(它只处理您的用例,但做得很好)可能是有意义的。

例如,如果您使用的是 Linux,您可以将几个 IP 地址路由到一个 tun 接口,并让您的应用程序处理该 tun 接口的 IP 数据包。这样,您可以完全在您的应用程序中实现 TCP/IP(针对您的用例进行了优化),并避免任何操作系统对打开连接数的限制。

当然,自己做 TCP/IP 是一项相当多的工作,但这真的取决于你有多绝望——即你能负担得起多少硬件来解决这个问题。

于 2009-03-20T23:23:43.037 回答
0

500,000 个任意 yahoo messenger 连接 - 您的电信公司是否代表 Yahoo 执行此操作?似乎多年来已经存在的任何解决方案都应该在摩尔定律的帮助下具有可扩展性 - 据我所知,所有 IM 客户端在很长一段时间内都非常有效,并且没有迫切的需求增长我能想到。

为什么这不是一个用硬件加传统解决方案来解决的合理问题?

于 2009-03-20T23:42:15.083 回答