我有一个自动登录和爬取网站的爬虫,但由于登录已更改,它不再工作。
我想知道,我可以将浏览器 cookie(也就是我手动登录)提供给我的 HTTP 请求吗?原则上是否有什么特别错误的东西不能使它起作用?如何找到与网站相关的浏览器 cookie?
如果可行,我如何获得可以粘贴到 HTTP 请求中的“原始”cookie 字符串?
我对这个领域很陌生,所以请原谅我无知的问题。我可以使用 Python 或 Java
我有一个自动登录和爬取网站的爬虫,但由于登录已更改,它不再工作。
我想知道,我可以将浏览器 cookie(也就是我手动登录)提供给我的 HTTP 请求吗?原则上是否有什么特别错误的东西不能使它起作用?如何找到与网站相关的浏览器 cookie?
如果可行,我如何获得可以粘贴到 HTTP 请求中的“原始”cookie 字符串?
我对这个领域很陌生,所以请原谅我无知的问题。我可以使用 Python 或 Java