11

使用这个 curl 命令，我可以从 Bash 获得我正在寻找的响应

curl -v -u z:secret_key --proxy http://proxy.net:80  \
-H "Content-Type: application/json" https://service.com/data.json

我已经在 Requests 模块中看到了关于代理的其他帖子

它帮助我用 Python 编写代码，但我需要通过代理发出请求。但是，即使提供适当的代理，它也无法正常工作。也许我只是没有看到什么？

>>> requests.request('GET', 'https://service.com/data.json', \
>>> headers={'Content-Type':'application/json'}, \ 
>>> proxies = {'http' : "http://proxy.net:80",'https':'http://proxy.net:80'}, \
>>> auth=('z', 'secret_key'))

此外，在同一个 python 控制台上，我可以使用 urllib 发出请求以使其成功。

>>> import urllib
>>> urllib.urlopen("http://www.httpbin.org").read()
---results---

即使仅尝试对非 https 地址的请求也无法正常工作。

>>> requests.get('http://www.httpbin.org')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Library/Python/2.6/site-packages/requests/api.py", line 79, in get
   return request('get', url, **kwargs)
File "/Library/Python/2.6/site-packages/requests/api.py", line 66, in request
    prefetch=prefetch
File "/Library/Python/2.6/site-packages/requests/sessions.py", line 191, in request
    r.send(prefetch=prefetch)
File "/Library/Python/2.6/site-packages/requests/models.py", line 454, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: Max retries exceeded for url:

Requests 是如此优雅和令人敬畏，但在这种情况下它怎么会失败呢？

4

2 回答 2

9

问题实际上在于 python 的标准 url 访问库 - urllib/urllib2/httplib。我不记得哪个库是确切的罪魁祸首，但为了简单起见，我们就称它为 urllib。不幸的是，urllib 没有实现通过 http(s) 代理访问 https 站点所需的 HTTP Connect 方法。我使用 urllib 添加功能的努力没有成功（我已经有一段时间没有尝试过）。所以不幸的是，我知道工作的唯一选择是在这种情况下使用 pycurl。

但是，有一个相对干净的解决方案，它与 python 请求几乎完全相同的 API，但它使用 pycurl 后端而不是 python 标准库。

该库称为human_curl。我自己用过，效果很好。

于 2012-01-11T09:15:05.267 回答
1

相信上面的答案，我们尝试了human_curl

human_curl 给出了未知错误之类的错误，而 urllib3 给出了正确的错误，例如请求超时，url 超出了最大重试次数。

所以，我们回到 urllib3，urllib3 是线程安全的。我们对 urllib3 很满意

现在唯一的问题是“超出最大重试次数”，我们无法解决，猜测可能与服务器/代理有关，但不确定。

于 2012-08-03T03:26:10.797 回答