3

我正在同一个应用程序中使用 gevent 和 tornado，以便可以抑制不支持 tornado ioloop 的库以使用 gevent 进行异步操作。我想我需要运行两个真正的系统线程，一个专用于 Tornado 的 ioloop，另一个专用于 gevent 的循环。但是，尝试在系统线程中调用任何 gevent 函数会返回not implemented Error, gevent cannot be used inside threads。因此，我也尝试了猴子修补线程，如下面的片段所示

from gevent import monkey; monkey.patch_all()
from random import choice
import gevent
import requests
import tornado.ioloop
import tornado.web
import threading
import Queue

q = Queue.Queue()

i = 0
def synchronous_get_url(url, callback=None):
    global i
    i += 1
    d = i

    print('bar %d getting %s' % (d, url))
    requests.get(url)
    print('bar %d finished getting %s' % (d, url))
    if callback:
        callback()

class GreenEventLoop(threading.Thread):
    daemon = True
    def run(self):
        while True:
            url, callback = q.get()
            gevent.spawn(synchronous_get_url, url, callback)

继续……

class MainHandler(tornado.web.RequestHandler):

    @tornado.web.asynchronous
    def get(self):
        print 'Received get request'
        urls = [
            'http://google.com',
            'http://apple.com',
            'http://microsoft.com',
            'http://github.com',
            'http://sourceforge.com',
        ]

        q.put((choice(urls), self._on_fetch), block=False)
        self.write("submitted url to queue")

    def _on_fetch(self):
        print 'Finishing in the handler\n'
        try:
            self.finish()
        except:
            pass

# Start GEvent Loop
green_loop = GreenEventLoop()
green_loop.start()

# Start Tornado Loop
application = tornado.web.Application([
    (r"/", MainHandler),
    ], debug=True)
application.listen(7001)
tornado.ioloop.IOLoop.instance().start()

在一个单独的进程中，在命令行上，我运行以下命令。

from gevent import monkey; monkey.patch_all()
import gevent
import requests
count = 0
def get_stuff(i):
    global count
    res = requests.get('http://localhost:7000/')
    count += 1
    print count, res, i

lets = [gevent.spawn(get_stuff, i) for i in range(15)]
gevent.joinall(lets)

这允许同时检索 15 个 url，并在收到它们时返回响应。我不太明白为什么上面的代码完全有效。如果线程被 gevent 修补并变成绿色线程，这意味着一次只有一个线程在运行，这意味着当 gevent 关闭获取新响应时，tornado 的 ioloop 将阻塞并且不会处理新请求，直到旧请求回来。有人可以解释 gevent 如何与 Tornado 的 ioloop 交互吗？

4

2 回答 2

1

I suggest you look at motor lib it's async wrapper around pymongo driver. It's uses greenlets to adopt synchronous pymongo code for tornado callbacks style. So I think it should be good place to find some ideas.

于 2012-11-09T22:48:14.853 回答
0

基本思想是使用 gevent 对系统线程进行猴子补丁，然后在 python 'threads' 下运行 tornado，这些线程实际上是 gevent greenlets。

如何一起使用gevent和tornado

于 2015-08-20T17:40:47.067 回答