0

我的 wordpress robots.txt 文件中有以下设置。由于某种原因，其中的允许部分不起作用？根据谷歌网站管理员工具，它不喜欢以下内容。

谁能告诉我为什么？

Disallow: /blog/author/*
Allow: /blog/author/admin

谢谢！:)

4

2 回答 2

1

尾随*是不必要的。robots.txt 约定是该Disallow表达式将阻止任何以该表达式开头的 URL 。最初的 robots.txt 规范没有通配符。用通配符，/blog/author/意思/blog/author/*是一样的。

最初的 robots.txt 规范说机器人将读取 robots.txt 文件并应用第一个匹配规则。虽然最初的规范没有包含该Allow指令，但早期的实现者继续使用“第一匹配规则”规则。如果 Googlebot 正在使用它，那么它会看到禁止行并假设它无法抓取 /blog/author/admin，因为它匹配。

我建议移动Allow上面的Disallow, 并从Disallow表达式中删除星号。

于 2013-10-29T14:17:28.487 回答
0

我认为您在 WordPress robots.txt 中尝试执行的操作与您在这种情况下可以看到的webbingbcn.es/robots.txt相同，但允许 /wp-admin/。

  • 允许：/wp-admin/
  • 禁止：/作者/
于 2017-06-20T08:01:52.067 回答