在 robots.txt 文件中，我放置了一个 URL /custompages/*，Google bot 不应抓取与“/custompages/”匹配的页面。
但是当我查看网站管理员时，我仍然可以从这些链接中看到错误消息。
User-agent: *
Disallow: /search/application/*
Disallow: /custompages/*
以上是我的robot.txt 文件。
在网站管理员上，我可以看到Googlebot couldn't access the contents of this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request.
网址
custompages/savesearch?alid=9161
哪里可能发生了错误..？