我试图抓取的网站使用 js 创建 cookie。我当时的想法是，我可以在 python 中创建一个 cookie，然后使用该 cookie 来抓取网站。但是，我不知道这样做的任何方法。有人有什么想法吗？
问问题
3950 次
2 回答
2
有关将 cookie 添加到请求的示例，请参阅Python httplib2 - 处理 HTTP 表单帖子中的 cookie。
我经常需要在基于 Web 的应用程序中自动执行任务。我喜欢在协议级别通过 HTTP 模拟真实用户的交互来做到这一点。Python为此提供了两个内置模块：urllib（高级Web接口）和httplib（低级HTTP接口）。
于 2009-07-13T02:13:49.377 回答
2
如果您想做更多涉及的浏览器仿真（包括设置 cookie），请查看mechanize。它的模拟能力几乎是完整的（遗憾的是不支持 Javascript）：我已经用它构建了几个刮板并取得了很大的成功。
于 2009-07-13T07:14:21.080 回答