python - 我如何登录网站并在 python 中做事

Question

我已经阅读了这个问题，但我使用了不同的东西， 如何使用 python 登录网站？

我正在使用 Scrapy 进行网络抓取，但我不想使用 Mechanize。

我想要做的是用 python 登录我的网站，然后我必须使用数据库中的数据提交表单。

前提是所有数据都是有效的。我怎么能用scrapy做到这一点。或者我还需要使用任何其他库？

Answer 1

在开始爬网之前登录网站的scrapy 文档中有一个示例。

Answer 2

您可以将带有用户数据的请求发送到身份验证控制器。例如，您的网站从网站上的表单获取 POST 请求。所以你可以直接向它发送 POST 请求。

Answer 3

在此处查看类似的问题：如何使用 Python 登录网页并检索 cookie 以供以后使用？

查看 URLlib：http ://docs.python.org/2/library/urllib.html

这应该可以回答您的问题，但请记住，您必须满足一些身份验证位才能登录某些网站。我建议研究与此相关的 OpenID 和 python 库。

Answer 4

您可以使用请求之类的 python 库，也可以简单地使用 urllib2,cookielib这里是一个参考

在这种情况下，您可以编写一个处理登录的方法，在提交表单之前，您可以使用 django ORM 加载数据，然后提交表单。