1

“授权许可错误增加”

在过去的两个晚上,我在我的一个网站的网站管理员工具中遇到了这个错误,我认为可能导致这个错误的唯一更改是我的 robots.txt 文件。

就是这个:

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: bingbot
Disallow:

User-agent: Yahoo-slurp
Disallow:

User-agent: Msnbot
Disallow:

User-agent: *
Disallow: /

这个机器人文件验证并在网站管理员中我运行了一个测试,看看谷歌是否可以抓取页面,它说谷歌机器人在第 5 行是允许的(这是正确的)但我只是想知道如果

User-agent: *
Disallow: /

底部是否覆盖了 Googlebots 的命令?

在我开始收到此错误之前,我放置了

User-agent: *
Disallow: /

最重要的是机器人特定的命令 - 但它没有验证,而且 - 我没有收到“授权权限错误增加”错误。

谢谢你的帮助。

4

1 回答 1

-1
User-agent: *
Disallow: /

这就是导致爬行块的原因。

于 2015-12-10T08:16:42.287 回答