我想阻止机器人访问以 . 结尾的 URL /new
。我正在修改我的robots.txt
文件如下:
Disallow: /*/new
这是用于禁止访问所有 url 终止的正确模式/new
吗?
我想阻止机器人访问以 . 结尾的 URL /new
。我正在修改我的robots.txt
文件如下:
Disallow: /*/new
这是用于禁止访问所有 url 终止的正确模式/new
吗?
是的,谷歌似乎支持这个
尝试https://www.google.com/webmasters “站点配置 > 爬虫访问”来测试您的 robots.txt 文件中的给定 URL
这是这个工具的结果
http://www.***.com/new/asdasd
Allowed by line 6: Allow: /
http://www.***.com/asdasd/new/
Blocked by line 8: Disallow: /*/new
Detected as a directory; specific files may have different restrictions
http://www.***.com/asdasd/new
Blocked by line 8: Disallow: /*/new
Disallow: /new$
将检查终止于的 URL/new