2

我们想做一个电子商务应用程序,团队是python开发人员,但不使用python web框架(Django/Flask...),因为我们发现Tornado的简单性非常好,我们给了他很大一部分.

但问题是,Tornado 是单线程的,应用程序将使用散列(登录)和图像处理(缩略图生成)。可以ThreadPoolExecutor像 Apache 那样扮演多线程服务器的角色吗,就像这个例子一样?

from concurrent.futures import ThreadPoolExecutor
from tornado import gen
from tornado.process import cpu_count
import bcrypt


pool = ThreadPoolExecutor(cpu_count())

@gen.coroutine
def create_user(name, password):
    hashed_pw = yield pool.submit(bcrypt.hashpw, password, bcrypt.gensalt())
    yield save_user(name, hashed_pw)

@gen.coroutine
def login(name, password):
    user = yield load_user(name)
    match = yield pool.submit(bcrypt.checkpw, password, user.hashed_pw)
    if not match:
        raise IncorrectPasswordError()

因此,Tornado 将散列工作发送到另一个线程,以释放自己并能够接收其他请求。这种方法会奏效吗?

注意:还有一个涉及负载均衡器的解决方案,但团队现在不想追求这个解决方案。

4

1 回答 1

2

是的,ThreadPoolExecutor在这里会很好用。在其操作的 CPU 密集部分期间,它会同时出现hashpw并释放 GIL:checkpw

bcrypt_hashpw(PyObject *self, PyObject *args, PyObject *kw_args)
{
    ...
    Py_BEGIN_ALLOW_THREADS;
    ret = pybc_bcrypt(password_copy, salt_copy, hashed, sizeof(hashed));
    Py_END_ALLOW_THREADS;
    ...

这意味着您将能够将这些工作集中到一个 CPU 上,同时使用另一个 CPU 处理传入的请求。

请记住,如果您需要执行其他一些运行纯 Python 的受 CPU 限制的操作(意味着 GIL 不会被释放),您需要使用 aProcessPoolExecutor来避免性能受到影响。

于 2015-01-30T20:03:37.687 回答