我最初的任务:使用Trello API,通过 HTTP GET 请求获取数据。如果可能,异步运行请求和处理响应。API 提供者使用我通过一些密钥和令牌访问的“https://”URL。
我使用的工具:
- Python 2.7.10 | Anaconda 2.3.0(64 位)| (默认,2015 年 5 月 28 日,16:44:52)[MSC v.1500 64 位 (AMD64)] on win32
requests
库(刚导入没有安装)grequests
库(通过 pip 从此git repo安装)
原始任务结果:只有requests
库有效,我得到了 Trello API 的响应,太好了。grequests
库因 status_code = 302 而失败。
我试图理解它为什么会发生并编写了两个可重现的脚本。
脚本 A:requests
使用的库:
import requests
urls = [
"https://www.google.com",
"https://www.facebook.com/",
"http://www.facebook.com/",
"http://www.google.com",
"http://fakedomain/",
"http://python-tablib.org"
]
# Run requests:
for url in urls:
print requests.get(url).status_code
控制台输出 A(由于 有一些异常http://fakedomain/
):
200
200
200
200
Traceback (most recent call last):
File "req.py", line 14, in <module>
print requests.get(url).status_code
File "D:\python\lib\site-packages\requests\api.py", line 69, in get
return request('get', url, params=params, **kwargs)
File "D:\python\lib\site-packages\requests\api.py", line 50, in request
response = session.request(method=method, url=url, **kwargs)
File "D:\python\lib\site-packages\requests\sessions.py", line 465, in request
resp = self.send(prep, **send_kwargs)
File "D:\python\lib\site-packages\requests\sessions.py", line 573, in send
r = adapter.send(request, **kwargs)
File "D:\python\lib\site-packages\requests\adapters.py", line 415, in send
raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', gaierror(11001, 'getaddrinfo failed'))
脚本 B:grequests
用于map
发送异步请求的库:
import grequests
# This function will execute set of instructions when responses come:
def proc_response(response, **kwargs):
# do something ..
print response
# Request exception handler:
def my_except_handler(request, excetion):
print "Request failed : " + request.url
urls = [
"https://www.google.com",
"https://www.facebook.com/",
"http://www.facebook.com/",
"http://www.google.com",
"http://fakedomain/",
"http://python-tablib.org"
]
# Here is the list of tasks we build and run in parallel later:
actions_list = []
# Tasks list building:
for url in urls:
action_item = grequests.get(url, hooks = {'response' : proc_response})
actions_list.append(action_item)
# Run grequests:
print grequests.map(actions_list, exception_handler=my_except_handler)
控制台输出 B:
<Response [302]>
<Response [302]>
<Response [200]>
<Response [301]>
<Response [302]>
<Response [200]>
Request failed : https://www.google.com
Request failed : https://www.facebook.com/
Request failed : http://www.facebook.com/
Request failed : http://fakedomain/
[None, None, None, <Response [200]>, None, <Response [200]>]
我可以根据这些信息得出的结论以及我相对较小的经验如下 - 由于某种原因grequests
被远程网站拒绝,requests
可以正常使用。只要 302 意味着某种重定向,似乎grequests
无法从重定向到的源中获取数据何时requests
可以。allow_redirects=True
脚本 B中的 inget
方法没有解决问题。
我想知道为什么图书馆会给出不同的回应。我可能会错过一些东西,这两个脚本必须根据设计返回不同的结果,而不是因为两个库之间的差异。
提前感谢您的帮助。