我正在尝试使用代理从网站上抓取一些信息,但是我听说 urlib.getProxies() 不起作用,尤其是对于 https 网站。这是我的代码:
page = requests.get(url,proxies = urllib.getproxies())
这实际上是否有效,有没有办法确定它是否通过代理请求,而不是我的 IP 地址。顺便说一下,我请求一个 https 网站。提前感谢您的帮助。
这个问题和答案准确地解释了您的问题可能是什么。
您提供给的 proxyDictrequests.get(... proxies = X)
需要为您发出的请求的特定协议设置代理。也就是说,如果您正在发出https
请求,则需要proxyDict["https"]
设置一些内容。
对你有什么urllib.getproxies()
回报?https
协议有什么设置吗?