问题:我搜索了几个网站/博客/等以找到解决方案,但没有找到我想要的。简而言之,问题是我想抓取一个站点-但要访问该站点-我必须通过登录页面。
我做了什么:我确实设法使用 urllib2 和 httplib 打开页面,但即使在登录后(没有显示错误),浏览器中显示的登录页面重定向也不会发生。我的代码与此处显示的代码没有太大区别:如何使用 Python 登录网页并检索 cookie 以供以后使用?; 除了我没有使用 Cookies。
我在找什么?我不完全确定除了“用户名”和“密码”字段之外我还需要寻找哪些字段。我想让脚本做的是 1)成功登录到 .aspx 站点并显示某种登录成功的消息 2)登录后重定向到另一个页面,以便我刮掉数据从网站。3) 如何收集任何网站的 POST/GET 字段,以便我知道我正在传递/调用正确的参数?
任何帮助/帮助/建议将不胜感激。