seo - 为什么即使在指定 URL 之后，robot.txt 文件中也会出现此错误？

Question

在 robots.txt 文件中，我放置了一个 URL /custompages/*，Google bot 不应抓取与“/custompages/”匹配的页面。

但是当我查看网站管理员时，我仍然可以从这些链接中看到错误消息。

User-agent: *        
Disallow: /search/application/*
Disallow: /custompages/*

以上是我的robot.txt 文件。

在网站管理员上，我可以看到Googlebot couldn't access the contents of this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request. 网址

custompages/savesearch?alid=9161

哪里可能发生了错误..？

Answer 1

Disallow: /search/application/
Disallow: /custompages/

就够了，不需要*号。