http - urllib3 连接管理

Question

我正在使用 urllib3 通过 HTTP 一次又一次地查询一个在线 API（特别是超过 40,000 次）。
我注意到一开始，来自 API 的 HTTP GET 非常快（< 500 毫秒）。
随着越来越多的 HTTP 请求被发出，响应时间减慢到几秒钟。

我的代码如下所示：

http = urllib3.PoolManager()
req = http.request(u'GET', URL)
doc = xml.dom.minidom.parseString(req.data)
nodes = doc.getElementsByTagName(ELEMENT_NAME)
for node in nodes:
    #process the node, this happens very very fast.

我错过了什么吗？谢谢！

Answer 1

也许您正在使用的 API 正在限制您？