3

此脚本的性能如何：http: //tornadogists.org/2185380/复制如下。

from time import sleep
from tornado.httpserver import HTTPServer
from tornado.ioloop import IOLoop
from tornado.web import Application, asynchronous, RequestHandler
from multiprocessing.pool import ThreadPool

_workers = ThreadPool(10)

def run_background(func, callback, args=(), kwds={}):
    def _callback(result):
        IOLoop.instance().add_callback(lambda: callback(result))
    _workers.apply_async(func, args, kwds, _callback)

# blocking task like querying to MySQL
def blocking_task(n):
    sleep(n)
    return n

class Handler(RequestHandler):
    @asynchronous
    def get(self):
        run_background(blocking_task, self.on_complete, (10,))

    def on_complete(self, res):
        self.write("Test {0}<br/>".format(res))
        self.finish()

HTTPServer(Application([("/", Handler)],debug=True)).listen(8888)
IOLoop.instance().start()
  1. 我的应用程序将超过1,000 req/sec。
  2. 每个请求将持续 2-30 秒，平均约 6 秒
    • 简单地平均sleep(6)
  3. 通过使用类似的东西来阻止 IOredis BLPOP或Queue.get_nowait()
4

1 回答 1

2

整体模式很好，但需要注意的是，由于 GIL，您的线程池将只能使用单个 CPU，并且您需要使用多个进程才能充分利用可用硬件。

仔细看看这些数字，如果您的请求真的平均每个 6 秒，那么 10 个线程就太小了。您每秒有 6000 秒的工作量，因此您的所有进程总共需要至少 6000 个线程（假设 6 秒实际上只是阻塞外部事件和 python 进程中的 CPU 成本）可以忽略不计）。我不确定现代系统可以处理多少个线程，但是 6000 个 Python 线程听起来并不是一个好主意。如果每个请求确实有 6 秒的阻塞时间（以及数千个请求/秒），那么将这些阻塞函数转换为异步函数听起来是值得的。

于 2013-09-26T04:16:19.567 回答