我正在使用 python 进行网络抓取并以编程方式访问网站。为此,我使用 urllib 和 cookiejar。在我的程序中
我正在对网站进行发布查询以搜索某些内容。所以通常我使用 OAuth 登录,进入搜索页面查找相关项目,然后发送搜索查询以查找感兴趣的项目。
然而,每隔一段时间,似乎完全随机,当我对一个项目执行搜索查询时,我会得到一个模式窗口作为响应,比如“查看我们的新搜索功能!”。我的意思是 POST 请求的响应内容是一个描述模式窗口的 HTML 页面,而我通常希望收到一个包含我正在搜索的项目描述的 HTML 页面。
如何绕过此模式窗口并使发布请求始终正常返回?我应该设置某种cookie吗?我将 urllib 与 cookiejar 一起使用。