robots.txt - Robots.txt 语法不理解

Question

我很久以前向 Google 提交了我的 robots.txt 文件，但它仍然给了我第一行无法理解的语法。

谷歌搜索后最常见的问题是谷歌添加了“？” 在行的开头，但它没有对我这样做。

robots.txt 的网址是

www.leisurepursuits.co.uk/robots.txt

错误是：

第 1 行：用户代理：* 语法不理解

Answer 1

显示此错误是因为预期的 robots.txt 文件格式是以 UTF-8 编码的纯文本。该文件由 CR、CR/LF 或 LF 分隔的记录（行）组成。

如果字符编码不是 UTF-8 的子集，则您的 robots.txt 文件被错误地解析。

首先通过选择第二个选项“查看源代码”来检查http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl中的 robots.txt 网址，看看它是否响应成功。

现在再次上传您的 robots.txt 文件。如前所示，它不会显示错误。