2

我正在尝试使用 gevent 作为 wsgi 服务器，并使用 tornado WSGIApplication 来处理请求。这是代码

#!/usr/bin/env python
# coding=utf-8

import gevent
from gevent import monkey
monkey.patch_all(thread=False)

from gevent.pywsgi import WSGIServer

from tornado.wsgi import WSGIApplication
import tornado.web
import tornado.wsgi

import requests

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        requests.get('http://google.com')
        self.write('hello')


handlers = [
    (r'/', MainHandler)
]


if __name__ == '__main__':
    application = WSGIApplication(handlers)
    server = WSGIServer(('', 9010), application)
    server.serve_forever()

我使用 apache benchmark 来测试性能。测试命令是

ab -n 1000 -c 100 http://127.0.0.1:9010/

这导致每秒 100req，太慢了。在上面的代码中，我只是向对方发送了一个http请求，我认为在这种情况下，gevent会在阻塞时切换到其他greenlet，它应该对性能影响不大，但是gevent的性能从每秒1600req下降到每秒100 req 每秒，我不知道为什么。

谁能解释一下？

4

4 回答 4

3

嗨，您的问题是您没有生成实际的 greenlet，并且 tornado.web.ascynhronous 装饰器不支持 WSGI 服务器。

但是主要逻辑是有效的，我能够让它与 HTTP 服务器一起工作（我不知道你是否绑定到 WSGI 服务器，但我想不是，因为你也可以反向代理）。

我发现很多人想在 tornado 中使用 gevent，包括我（我们在 FriendCode 使用 tornado 和gevent），所以我写了这个：

# Gevent monkeypath
from gevent import monkey
monkey.patch_all()

# Gevent imports
import gevent

# Python immports
import functools

# Tornado imports
import tornado.ioloop
import tornado.web
import tornado.httpserver

# Request imports
import requests


# Asynchronous gevent decorator
def gasync(func):
    @tornado.web.asynchronous
    @functools.wraps(func)
    def f(self, *args, **kwargs):
        #self._auto_finish = False
        return gevent.spawn(func, self, *args, **kwargs)
    return f


# Constants
URL_TO_FETCH = 'http://google.co.uk/'

# Global
I = 0


class MainHandler(tornado.web.RequestHandler):
    @gasync
    def get(self):
        global I
        r = requests.get(URL_TO_FETCH)
        I += 1
        print('Got page %d (length=%d)' % (I, len(r.content)))
        self.write("Done")
        self.finish()


# Our URL Mappings
handlers = [
   (r"/", MainHandler),
]


def main():
    # Setup app and HTTP server
    application = tornado.web.Application(handlers)
    http_server = tornado.httpserver.HTTPServer(application)
    http_server.listen(9998)

    # Start ioloop
    tornado.ioloop.IOLoop.instance().start()


if __name__ == "__main__":
    main()

在这个示例中，有两个关键部分，你做对的猴子补丁部分，然后是我写的gasync装饰器，它所做的只是将一个方法设置为异步（按照 tornado 的术语，这意味着该方法必须调用 self .finish() 本身将响应发送给客户端，因为当请求是同步的时，tornado 会自动调用它，但这不是您想要的异步）。

我希望这会有所帮助，代码在这里运行良好，我已经使用以下方法对其进行了测试：

$ ab -n 100 -c 100 http://localhost:9998/

这使 ：

This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking localhost (be patient).....done


Server Software:        TornadoServer/2.3
Server Hostname:        localhost
Server Port:            9998

Document Path:          /
Document Length:        4 bytes

Concurrency Level:      100
Time taken for tests:   0.754 seconds
Complete requests:      100
Failed requests:        0
Write errors:           0
Total transferred:      15900 bytes
HTML transferred:       400 bytes
Requests per second:    132.67 [#/sec] (mean)
Time per request:       753.773 [ms] (mean)
Time per request:       7.538 [ms] (mean, across all concurrent requests)
Transfer rate:          20.60 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        2    4   0.8      4       5
Processing:   379  572 104.4    593     748
Waiting:      379  572 104.4    593     748
Total:        383  576 104.3    596     752

Percentage of the requests served within a certain time (ms)
  50%    596
  66%    640
  75%    672
  80%    679
  90%    707
  95%    722
  98%    735
  99%    752
 100%    752 (longest request)

如您所见，总时间大致等于最长请求的时间，请记住，当 async 时：

total_time = max(all_individual_times) + n*some_overhead

其中n是请求数，而some_overhead是恒定开销。

希望有帮助:)

于 2012-11-08T22:36:09.980 回答
2

我有同样的需求，但我正在使用期货和 gen.coroutine，所以我不得不稍微修改它以与我的代码兼容，如果其他人也需要它，我会把它放在这里：

#
# encoding: utf-8

from gevent import monkey
monkey.patch_all()

# Gevent imports
import gevent

# Python immports
import functools

# Tornado imports
import tornado.ioloop
import tornado.web
import tornado.gen
import tornado.httpserver

# Request imports
import requests
from tornado.concurrent import Future


# Asynchronous gevent decorator
def gfuture(func):
    @functools.wraps(func)
    def f(*args, **kwargs):
        loop = tornado.ioloop.IOLoop.current()
        future = Future()

        def call_method():
            try:
                result = func(*args, **kwargs)
                loop.add_callback(functools.partial(future.set_result, result))
            except Exception, e:
                loop.add_callback(functools.partial(future.set_exception, e))
        gevent.spawn(call_method)
        return future
    return f


# Constants
URL_TO_FETCH = 'http://google.com/'

# Global
I = 0


@gfuture
def gfetch(url, i):
    r = requests.get(url)
    return i


class MainHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    @tornado.gen.coroutine
    def get(self):
        global I
        I += 1
        n = I
        print "=> %s" % n
        n = yield gfetch(URL_TO_FETCH, n)
        print "<= %s" % n
        self.write("Done %s" % n)


# Our URL Mappings
handlers = [(r"/", MainHandler)]


def main():
    # Setup app and HTTP server
    application = tornado.web.Application(handlers)
    http_server = tornado.httpserver.HTTPServer(application)
    http_server.listen(9998)

    # Start ioloop
    tornado.ioloop.IOLoop.instance().start()


if __name__ == "__main__":
    main()
于 2013-08-21T13:36:10.017 回答
0

尝试requests仅使用 gevent 示例应用程序测试包，以检查它是否真正异步。也许原因是 gevent 没有正确修补所需的所有内容requests

但我认为您的解决方案与 gevent 站点不是异步的：您正在尝试运行 2 个事件循环。我猜您提出的过程如下所示：

  • Tornado IOLoop 等待事件（用于 http 服务器）
  • 处理 HTTP 请求
  • 处理程序 runget方法，它运行 gevent 事件循环（gevent 在专用的 greenlet 中隐式启动事件循环）
  • gevent 的事件循环阻塞了Tornado greenlet（gevent 的事件循环所在的 greenlet 的父级）
  • 请求的greenlet等待完成
  • request的greenlet完成，gevent的事件循环关闭，end Tornado IOLoop被释放。

还要看看 Tornado 和 greenlets 的一些成功组合：tornalet、Motor。

于 2013-01-29T21:08:51.307 回答
0

Tornado (Twisted) 和 gevent 做同样的事情，为了获得最佳结果，您应该保持在相同的技术堆栈中，而不是将两者混为一谈。要么使用带有 gevent 的 WSGI Web 框架，比如瓶子或烧瓶，要么一起使用扭曲和龙卷风。

于 2017-09-06T18:37:26.330 回答