我在我的网站上经常收到以下错误:
“这是一个无效的脚本资源请求。”
当蜘蛛尝试爬取 /ScriptResource.axd或/WebResource.axd时会发生错误。
在 robots.txt 中禁止这些文件可以正常工作(正如TheLukeMcCarthy在此处所建议的那样)。
用户代理:*
禁止:/WebSite/ScriptResource.axd
禁止:/WebSite/WebResource.axd
这对于像 Websense 这样(粗鲁地)忽略 robots.txt 的服务是行不通的。
知道如何阻止 Websense 尝试抓取这些文件吗?
这些站点使用 ASP.NET 和 HTML5 开发并托管在 IIS7 上。
提前致谢!