python - Tornado 对函数的异步调用

Question

我正在使用 Python + Tornado 制作一个 Web 应用程序，它基本上为用户提供文件。我没有数据库。

如果文件可用，则直接提取和提供文件，如果不可用，则动态生成。

我希望以异步方式为客户端提供服务，因为有些文件可能已经可用，而另一些文件需要生成（因此他们需要等待，我不希望他们阻止其他用户）。

我有一个管理文件选择或生成的类，我只需要从 Tornado 调用它。

实现这一目标的最佳方法是什么（在 CPU 和 RAM 上最有效）？我应该使用线程吗？子进程？像这样一个简单的gen.Task？

另外，我希望我的实现可以在 Google App Engines 上运行（我认为它们不允许产生子进程？）。

我对异步 Web 服务比较陌生，所以欢迎任何帮助。

Answer 1

我找到了我的问题的答案： genTask 示例确实是实现异步调用的最佳方式，这是因为该示例确实使用了Python coroutine，我乍一看并不理解，因为我认为yield仅用于为生成器返回一个值。

具体例子：

class MyHandler(tornado.web.RequestHandler):

    @asynchronous
    @gen.engine
    def get(self):
        response = yield gen.Task(self.dosomething, 'argument')

这里重要的是两件事的结合：

• yield，它实际上产生了一个协程（或伪线程，它非常高效并且对并发高度友好）。 http://www.python.org/dev/peps/pep-0342/

• gen.Task()这是一个非阻塞（异步）函数，因为如果您在阻塞函数上生成协程，它将不是异步的。gen.Task()由 Tornado 提供，专门用于 Python 的协程语法。更多信息： http ://www.tornadoweb.org/documentation/gen.html

因此，使用协程在 Python 中进行异步调用的典型示例：

response = yield non_blocking_func(**kwargs)

Answer 2

现在文档有解决方案。

简单的例子：

import os.path
import tornado.web
from tornado import gen

class MyHandler(tornado.web.RequestHandler):

    @gen.coroutine
    def get(self, filename):
        result = yield self.some_usefull_process(filename)
        self.write(result)

    @gen.coroutine
    def some_usefull_process(self, filename):
        if not os.path.exists(filename):
            status = yield self.generate_file(filename)
            result = 'File created'
        else:
            result = 'File exists'

        raise gen.Return(result)

    @gen.coroutine
    def generate_file(self, filename):
        fd = open(filename, 'w')
        fd.write('created')
        fd.close()