python - 我如何使用 Scrapy python 登录到 stackoverflow 站点

Question

我刚刚开始学习scrapy，我想尝试使用python和Scrapy进行一些赞美。我正在考虑从我发布的特定标签中获取问题列表，然后在 SO 上解析它们。

但我不确定如何使用 open id 和 Scrapy 登录。

有人可以指导我这个我必须提交数据的网址，因为当我输入openid然后网站被转移到openid url所以我怎么能在那里输入密码

Answer 1

使用您的 RSS 提要（基本上是 xml）。

我能想到的另一种方法是：

Login normally in browser
export cookies to file
use that file in script

我可以想到fanatic徽章会变得不那么有价值的情况。因为，然后人们会简单地在他们的服务器上安排 cron 来每天访问 SO！所以，我建议不要做这种事情。

Answer 2

这是一个很好的例子，如何使用 scrapy 模拟用户登录请求。