robots.txt - Robots.txt 不允许某些文件夹名称

Question

我想禁止机器人在 url 中的任何位置抓取名称为： 的任何文件夹this-folder。

禁止的示例：

http://mysite.com/this-folder/
http://mysite.com/houses/this-folder/
http://mysite.com/some-other/this-folder/
http://mysite.com/no-robots/this-folder/

这是我的尝试：

Disallow: /.*this-folder/

这行得通吗？

Answer 1

不支持正式通配符和正则表达式：

http://www.robotstxt.org/robotstxt.html

但显然一些搜索引擎支持这一点。