robots.txt - robots文件中的禁止规则

Question

不允许： /*？

对于在 robots.txt 文件中有此内容的网站。我假设所有将在？之前被阻止。

这是真的？/ 之前的所有级别/文件夹？?

Answer 1

该规则将阻止每个包含查询字符串的 URL。所以它会阻塞http://www.example.com/foo.html?name=bar，但不会阻塞http://www.example.com/foo.html。