regex - 无法理解 robots.txt 语法

Question

我在 robots.txt 的第一行收到此错误User-agent: *

我的robot.txt如下：

User-agent: *
Disallow: /Search/
Disallow: /_layouts/ 
Disallow: /blog/_layouts/
Disallow: /Blog/_layouts/
Disallow: /ReusableContent/
Disallow: /Reports%20List/
Disallow: /WorkflowTasks/
Disallow: /SiteCollectionImages/
Disallow: /Documents/Forms/
Disallow: /Pages/Forms/
Disallow: /Internet/

我想有一个空间/Reports%20List/。这是在制造问题吗？我不太确定。任何帮助，将不胜感激。

Answer 1

这里的问题在于 UTF-8 格式 robots.txt 文件开头的 3 个不可见字节，即所谓的 BOM（字节顺序掩码）。此 BOM 是可选的。是的，您需要 UTF-8 格式的文件，但 Google 目前不喜欢预期清晰简单的 robots.txt 文件中的可选 BOM 并且解析失败。

您可以在此处阅读更详细的说明。