我的 wordpress robots.txt 文件中有以下设置。由于某种原因,其中的允许部分不起作用?根据谷歌网站管理员工具,它不喜欢以下内容。
谁能告诉我为什么?
Disallow: /blog/author/*
Allow: /blog/author/admin
谢谢!:)
我的 wordpress robots.txt 文件中有以下设置。由于某种原因,其中的允许部分不起作用?根据谷歌网站管理员工具,它不喜欢以下内容。
谁能告诉我为什么?
Disallow: /blog/author/*
Allow: /blog/author/admin
谢谢!:)
尾随*
是不必要的。robots.txt 约定是该Disallow
表达式将阻止任何以该表达式开头的 URL 。最初的 robots.txt 规范没有通配符。用通配符,/blog/author/
意思/blog/author/*
是一样的。
最初的 robots.txt 规范说机器人将读取 robots.txt 文件并应用第一个匹配规则。虽然最初的规范没有包含该Allow
指令,但早期的实现者继续使用“第一匹配规则”规则。如果 Googlebot 正在使用它,那么它会看到禁止行并假设它无法抓取 /blog/author/admin,因为它匹配。
我建议移动Allow
上面的Disallow
, 并从Disallow
表达式中删除星号。
我认为您在 WordPress robots.txt 中尝试执行的操作与您在这种情况下可以看到的webbingbcn.es/robots.txt相同,但允许 /wp-admin/。