我开始为 Ruby 使用 Mechanize gem，我想知道 Web 服务器是否可以检测并阻止来自 Mechanize 代理的活动？
如果是，阻止 Mechanize 废弃或访问网站的代码或步骤是什么？
问问题
1059 次
2 回答
2
他们可以通过多种方式检测自动化流程正在访问他们的站点：
- 他们可以检查用户代理字符串。
- 他们可以看到您的要求。浏览器请求 HTML 页面中的所有图像和 CSS。默认情况下不会机械化。
- 一个人停下来阅读一页并理解它所说的内容。一段代码不会，除非它被编程为暂停，否则它将全速运行，因此请求一个接一个地快速跟进。
这些不一定指向 Mechanize 运行，而是代码抓取网站的指纹。
他们能做些什么呢？
- 禁止该用户代理。
- 禁止来自您的 IP 号码或域或子网的任何请求。
- 禁止来自您的 IP 号码、域或子网的任何过快发生的请求。
有许多不同的方法可以处理这些事情，具体取决于他们的服务器和网络硬件。
这个问题对于 StackOverflow 来说是非常离题的，可能应该在https://serverfault.com/或https://webmasters.stackexchange.com/上提问
于 2012-07-25T09:09:55.303 回答
0
您可以建立一个 robots.txt 文件并希望人们尊重它。
如果您开始通过 User-Agent 字符串阻止，他们可以假装是 IE。
于 2012-07-25T05:49:34.507 回答