robots.txt - 如何阻止 robots.txt 中除目录索引之外的所有 URL？

Question

例如，我想阻止/foo.php,/foo/foo.php以及 中的所有其他类似 URL robots.txt，只留下/,/foo/等。

换句话说，我想阻止除目录之外的所有内容。

这怎么可能？

Answer 1

如果您要阻止的所有 URL 都以（或包含）结尾.php，您可以使用

User-agent: *
Disallow: /*.php

但是，这使用了*通配符，可能并非所有解析器都支持（谷歌支持它）。