robots.txt - 阻止 robots.txt 中具有 [可能] 多个文件扩展名的文件

Question

这是正确的语法吗？

    Disallow: /file_name.*

如果没有，有没有办法在不列出每个文件两次[多次]的情况下完成此操作？

Answer 1

好的，根据http://tool.motoricerca.info/robots-checker.phtml

此代码块寻址的（所有）用户代理不支持文件名中的“*”通配符。您应该在专门针对支持通配符的蜘蛛（例如 Googlebot）的代码块中使用通配符“*”。

所以，我只是使用：

    <meta name="robots" content="noindex,nofollow">

在我想阻止搜索引擎的每个页面中。