我是一名网站管理员，我正在尝试控制浏览器操作的 Watir ruby gem。
我知道很多开发人员使用 Watir 进行测试，但我也看到使用 Watir 从网站上抓取内容。
我想知道作为网站管理员，我可以检测到这种用法吗？我还可以检测到刮板正在使用 Watir 吗？
另外我怎样才能阻止Watir？
问问题
415 次
2 回答
3
我不确定您是否可以检测到访问您网站的浏览器背后是否有人类或 Watir 脚本。Watir 驱动真正的浏览器，因此通过用户代理进行过滤无济于事。
如果你有一个工具可以让你实时监控流量，你可以通过大量流量到同一个 IP 来检测屏幕抓取。然后，您可以（暂时）阻止 IP。
目前我想不出任何其他方法来阻止屏幕抓取。像这样robots.txt的文件只是一个约定，脚本可以忽略它。
于 2012-07-25T07:04:33.837 回答
1
如果您监视该用户的使用情况，您可能会检测到是否有人抓取了您的网站 - 如果用户做事非常快，那么它可能是机器人。
但是，您无法检测到刮板是否使用 Watir 或任何其他刮板工具。
于 2012-07-25T15:49:51.733 回答