robots.txt - 检查 Robots.txt 中的特定文本

Question

我的网址以&content=Search. 我想阻止所有以此结尾的 URL。我在 robots.txt 中添加了以下内容。

User-agent: *
Disallow:
Sitemap: http://local.com/sitemap.xml
Sitemap: http://local.com/en/sitemap.xml
Disallow: /*&content=Search$

/en/search?q=terms#currentYear=2015&content=search但是在https://webmaster.yandex.com/robots.xml中测试时它不起作用。它对我不起作用，因为content=search它是在#角色之后。

Answer 1

如果您测试而不是 ，Yandex Robots.txt 分析将阻止您的示例，因为Robots.txt值区分大小写。SearchsearchDisallow

如果您的站点使用不区分大小写的 URL，您可能希望使用：

User-agent: *
Disallow: /*&content=Search$
Disallow: /*&content=search$
# and possibly also =SEARCH, =SEarch, etc.

话虽如此，我不知道 Yandex 是否真的支持 URL 片段（我猜这很不寻常），尽管他们的工具给人的印象是这样的。