我开始学习如何使用 python requests 模块。为了练习,我试图解决一个挑战/响应问题:我想访问http://lema.rae.es/drae/srv/search?val=hacer上的数据
使用 Firefox 的“篡改数据”插件,我检查了必要的 HTTP 请求:
GET http://lema.rae.es/drae/srv/search?val=hacer
POST http://lema.rae.es/drae/srv/search?val=hacer
我复制了 Firefox 在两个 HTTP 请求中发送的确切标头,并在 Python 中实现了 JavaScript“挑战”功能。然后我正在执行以下操作:
url = "http://lema.rae.es/drae/srv/search?val=hacer"
headers = { ... }
r1 = requests.get(url=url, headers=headers)
html = r1.content.decode("utf-8")
formdata = challenge(html)
headers = { ... }
r2 = requests.post(url=url, data=formdata, headers=headers)
不幸的是,服务器不会以预期的方式回答。我检查了我通过“r.request.headers”发送的所有标头,它们与 Firefox 发送的标头完全一致(根据 Tamper Data)
我究竟做错了什么?
你可以在这里查看我的完整代码:http: //pastebin.com/7JAZ9B4s
这是我应该得到的响应标头:
Date[Tue, 10 Feb 2015 17:13:53 GMT]
Vary[Accept-Encoding]
Content-Encoding[gzip]
Cache-Control[max-age=0, no-cache]
Keep-Alive[timeout=5, max=100]
Connection[Keep-Alive]
Content-Type[text/html; charset=UTF-8]
Set-Cookie[TS014dfc77=017ccc203c29467c4d9b347fb56ea0e89a7182e52b9d7b4a1174efbf134768569a005c7c85; Path=/]
Transfer-Encoding[chunked]
这是我真正得到的响应头:
Content-Length[5798]
Content-Type[text/html]
Pragma[no-cache]
Cache-Control[no-cache]