我的 wordpress robots.txt 文件中有以下设置。由于某种原因，其中的允许部分不起作用？根据谷歌网站管理员工具，它不喜欢以下内容。
谁能告诉我为什么？
Disallow: /blog/author/*
Allow: /blog/author/admin
谢谢！:)
问问题
462 次
2 回答
1
尾随*是不必要的。robots.txt 约定是该Disallow表达式将阻止任何以该表达式开头的 URL 。最初的 robots.txt 规范没有通配符。用通配符，/blog/author/意思/blog/author/*是一样的。
最初的 robots.txt 规范说机器人将读取 robots.txt 文件并应用第一个匹配规则。虽然最初的规范没有包含该Allow指令，但早期的实现者继续使用“第一匹配规则”规则。如果 Googlebot 正在使用它，那么它会看到禁止行并假设它无法抓取 /blog/author/admin，因为它匹配。
我建议移动Allow上面的Disallow, 并从Disallow表达式中删除星号。
于 2013-10-29T14:17:28.487 回答
0
我认为您在 WordPress robots.txt 中尝试执行的操作与您在这种情况下可以看到的webbingbcn.es/robots.txt相同，但允许 /wp-admin/。
- 允许：/wp-admin/
- 禁止：/作者/
于 2017-06-20T08:01:52.067 回答