我想阻止机器人访问以 . 结尾的 URL /new。我正在修改我的robots.txt文件如下：
Disallow: /*/new
这是用于禁止访问所有 url 终止的正确模式/new吗？
问问题
171 次
2 回答
0
是的，谷歌似乎支持这个
尝试https://www.google.com/webmasters “站点配置 > 爬虫访问”来测试您的 robots.txt 文件中的给定 URL
这是这个工具的结果
http://www.***.com/new/asdasd
Allowed by line 6: Allow: /
http://www.***.com/asdasd/new/
Blocked by line 8: Disallow: /*/new
Detected as a directory; specific files may have different restrictions
http://www.***.com/asdasd/new
Blocked by line 8: Disallow: /*/new
于 2010-06-25T10:43:29.117 回答
0
Disallow: /new$
将检查终止于的 URL/new
于 2010-06-25T10:48:33.417 回答