seo - robots.txt 中用户代理的顺序

Question

我的 robots.txt 看起来像这样：

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

现在 Google 会忽略 user-agent * 部分，只遵循特定的 Googlebot 指令 (/maps)。这是正常行为吗？也不应该遵守 useragent * 指令（/admin、/test）？

必须为每个用户代理添加每一行似乎很奇怪？

Answer 1

没关系，谷歌这样说：

robots.txt 文件中的每个部分都是独立的，并不建立在前面的部分之上。例如：

用户代理：* 禁止：/folder1/

用户代理：Googlebot 禁止：/folder2/

在此示例中，Googlebot 将禁止匹配 /folder2/ 的 URL。