7

提供的 APIgevent.http.HTTPServer似乎支持双向流式传输。请求对象不提供作为简单字符串的请求主体,而是提供.input_buffer一个 Python 可迭代的属性,而在另一个方向上,响应的数据可以通过三个调用以块的形式传递:

request.send_reply_start(200, 'OK')
request.send_reply_chunk(...)  # as many times as you wish
request.send_reply_end()

但是我一定有一些错误配置,因为尽管有这个奇妙的无缓冲 API,我的请求处理程序直到最后一块请求 POST 数据最终到达时才被调用,而在另一个方向我没有看到任何标头到达我的客户端socket 直到服务器到达.send_reply_end(). 是否有一些我必须抛出的开关或一些我必须操作的配置设置才能关闭缓冲并查看请求并在它们到达时发送响应,例如 gevent 通过其支持原始套接字StreamServer

我的应用程序需要支持可能大于 RAM 的单文件上传和下载,这将需要关闭此缓冲。

这是一个用 gevent 编写的简单服务器和客户端,它应该向您展示这种行为:

# srv.py

import gevent.http

M100 = 100 * 1024 * 1024

def main():
    print 'Serving on 8088...'
    gevent.http.HTTPServer(('0.0.0.0', 8088), handle).serve_forever()

def handle(request):
    print 'Is request chunked?', request.chunked
    for item in request.input_buffer:
        print 'received body segment of length', len(item), 'bytes'
    request.add_output_header('Content-Type', 'application/octet-stream')
    request.send_reply_start(200, 'OK')
    for i in range(5):
        print 'sending chunk', i
        request.send_reply_chunk(M100 * 'x')
    request.send_reply_end()

if __name__ == '__main__':
    main()

和:

# cli.py

import requests
import time

M100 = 100 * 1024 * 1024

def gen():
    for i in range(5):
        print 'sending chunk', i
        yield M100 * 'x'
        time.sleep(1)

if __name__ == '__main__':
    r = requests.post('http://localhost:8088/', data=gen(), stream=True)
    for block in r.iter_content(M100):
        print 'received', len(block), 'bytes from download'

感谢您的任何指导!

4

1 回答 1

0

对服务器的请求:查看源代码,看起来服务器的处理函数在请求完成之前不会被调用,无论它是否以分块方式发送。所以你在那里不走运。

服务器响应:服务器响应可以以流方式发送,但您需要在处理程序线程中自愿让出控制权才能使其工作(例如,通过gevent.sleep()在每个块之后调用)。

不幸的是,gevent似乎没有提供一种方法来等待给定块完成发送,然后再开始下一个块,因此如果生成数据的速度比发送速度快,则可能会遇到内存问题。


请注意,以上信息是指gevent<1.0使用该libevent库的 ,不适用于更新版本的gevent. 当前版本gevent不再包含http模块,所以这个问题没有实际意义。

于 2016-09-07T07:54:31.993 回答