问题：我需要向服务器发送许多 HTTP 请求。我只能使用一个连接（不可协商的服务器限制）。服务器的响应时间加上网络延迟太高——我落后了。
这些请求通常不会更改服务器状态，也不依赖于先前请求的响应。所以我的想法是简单地将它们相互叠加发送，将响应对象排入队列，并依赖于传入响应的 Content-Length: 来将传入响应提供给下一个等待的响应对象。换句话说：通过管道将请求发送到服务器。
这当然不是完全安全的（任何没有 Content-Length: 的回复都意味着麻烦），但我不在乎——在这种情况下，我总是可以重试任何排队的请求。（安全的方法是在发送下一个位之前等待标头。这可能对我有足够的帮助。没有办法事先测试。）
因此，理想情况下，我希望以下客户端代码（它使用客户端延迟来模拟网络延迟）在三秒内运行。
现在是 64000 美元的问题：是否有一个 Python 库已经这样做了，还是我需要自己开发？我的代码使用 gevent；如有必要，我可以使用 Twisted，但 Twisted 的标准连接池不支持流水线请求。如有必要，我还可以为某些 C 库编写一个包装器，但我更喜欢本机代码。
#!/usr/bin/python
import gevent.pool
from gevent import sleep
from time import time
from geventhttpclient import HTTPClient
url = 'http://local_server/100k_of_lorem_ipsum.txt'
http = HTTPClient.from_url(url, concurrency=1)
def get_it(http):
print time(),"Queueing request"
response = http.get(url)
print time(),"Expect header data"
# Do something with the header, just to make sure that it has arrived
# (the greenlet should block until then)
assert response.status_code == 200
assert response["content-length"] > 0
for h in response.items():
pass
print time(),"Wait before reading body data"
# Now I can read the body. The library should send at
# least one new HTTP request during this time.
sleep(2)
print time(),"Reading body data"
while response.read(10000):
pass
print time(),"Processing my response"
# The next request should definitely be transmitted NOW.
sleep(1)
print time(),"Done"
# Run parallel requests
pool = gevent.pool.Pool(3)
for i in range(3):
pool.spawn(get_it, http)
pool.join()
http.close()