想知道以下是否适用于 robots.txt 中的谷歌
禁止:/*.action
我需要排除所有以 .action 结尾的网址。
它是否正确?
要阻止特定文件类型的文件(例如 .gif),请使用以下命令:
User-agent: Googlebot
Disallow: /*.gif$
所以,你很接近。使用 Disallow: /*.action$ 与尾随“$”
当然,这只是 Google 的建议:http ://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
所有的机器人都是不同的。
robots.txt 规范没有提供包含通配符的方法,只提供了 URI 的开头。
Google 实施了非标准扩展,在其文档中进行了描述(查看“阻止特定文件类型的文件”下的手动创建 robots.txt 文件部分)。
我认为它不会起作用,您需要将所有 .action 文件移动到您不允许的位置