在积极浏览http://avito.ru的页面时,我遇到了有趣的行为
所以,我确实非常积极地导航,每 2-3 秒打开一页。1 分钟后,我看到了空白屏幕(这是他们的禁令工作方式,没有任何解释,禁令时间约为 20 分钟)。我使用 LiveHeaders FF 插件检查响应标头 - 响应为 403。
好的,我清除了 cookie,重新启动了我的 FF,但仍然看到响应 403 的空白屏幕。好的,我启动了 Chrome,但仍然是空白屏幕(所以,跟踪方法不是 cookie/会话)好的,我拿走了我的笔记本电脑,但屏幕也那里空白(好吧,我可能被IP禁止了吗?)
但是,令人惊讶的是,我能够从 Java 下载真正的源页面(使用 HttpClient 库)。
这是 100% 可重现的,玩了一整天。
所以,问题是:avito.ru 使用什么跟踪机制?我在考虑:SSL 证书标头(它们重定向到 HTTPS 页面)、TCP 标头..