我有一组 50 个 url...并且从每个 url,我正在使用 urllib2 检索一些数据。我遵循的过程(包括为每个 url 设置 cookie)如下:
urls = ['https://someurl', 'https://someurl', ...]
vals = []
for url in urls:
req2 = urllib2.Request(url)
req2.add_header('cookie', cookie)
response = urllib2.urlopen(req2)
data = response.read()
vals.append(json.loads(data))
所以,基本上我正在从所有这些 url 中检索数据并将其转储到 vals 列表中。50 个 url 的整个过程大约需要 15.5 到 20 秒。我需要知道是否有任何其他 python 库可以通过它以更快的方式执行相同的操作..或者如果你们可以建议使用 urllib2 解决此问题的任何其他更快的方法,那么就可以了也是。谢谢。