10

我刚刚开始使用 Python 学习套接字。所以我写了一些聊天服务器和客户端的例子。我在互联网上看到的大部分内容似乎都使用线程模块来(异步)处理客户端与服务器的连接。我确实明白,对于可扩展的服务器,您需要使用一些额外的技巧,因为成千上万的线程可以杀死服务器(如果我错了,请纠正我,但这是由于 GIL 造成的吗?),但这不是我目前关心的问题。

奇怪的是,我在 Python 文档的某处发现创建子进程是正确的方法(不幸的是,我丢失了参考,抱歉 :( )用于处理套接字。

所以问题是:使用线程还是多处理?还是有更好的解决方案?

请给我答案并向我解释其中的区别。

顺便说一句:我确实知道有像 Twisted 这样的东西写得很好。我不是在寻找预制的可扩展服务器,而是试图了解如何编写一个可以扩展或处理至少 10k 客户端的服务器。

编辑:操作系统是Linux。

4

2 回答 2

11

Facebook 需要一个可扩展的服务器,因此他们编写了Tornado(使用异步)。 Twisted也是著名的可扩展性(它也使用异步)。 Gunicorn也是表现最好的(它使用多个进程)。我所知道的快速、可扩展的工具都没有使用线程。

尝试不同方法的一种简单方法是从标准库中的 SocketServer 模块开始:http: //docs.python.org/library/socketserver.html。它让您可以通过交替继承 ThreadingMixin 或 ForkingMixin 来轻松切换方法。

此外,如果您有兴趣了解异步方法,建立理解的最简单方法是阅读讨论 Tornado 实施的博客文章:http: //golubenco.org/2009/09/19/understanding-the -code-inside-tornado-the-asynchronous-web-server-powering-friendfeed/

祝你好运和快乐的计算:-)

于 2011-10-21T09:29:58.193 回答
0

数千个线程可以杀死服务器(如果我错了,请纠正我,但这是由于 GIL 造成的吗?)

一方面,GIL 与否无关。线程。如果您在这些线程中执行 IO,那么您可以拥有数十万个这些线程,而不会出现 GIL 或其他方面的任何问题。

当您有 CPU 密集型任务时,GIL 就会发挥作用。

请参阅 David Beazly 的这篇内容丰富的演讲,以了解有关 GIL 的更多信息。

于 2012-09-26T12:08:21.750 回答