seo - Liferay robots.txt 新行消失

Question

我试图从搜索引擎中排除我所有的 liferay 测试环境。新行正在消失，并且 \r\n 或 \n 作为分隔符也不起作用。

这是我的机器人文件：

User-agent: *
Disallow: /

这是我的 web.xml 片段：

<filter>
      <filter-name>RobotKiller</filter-name>
      <filter-class>com.robot.kill.KillARobot</filter-class>
</filter>

<filter-mapping>
      <filter-name>RobotKiller</filter-name>
      <url-pattern>/robots.txt</url-pattern>
</filter-mapping>

域/robots.txt：

User-agent: *Disallow: /

Answer 1

我想我知道问题是什么。此文件上的Content-Type HTTP 标头设置不正确。您将内容类型设置为text/html应该设置为的时间text/plain。

当您在浏览器中查看文件时，它会将其解释为 HTML，它将新行视为空格。您应该能够使用浏览器的查看源代码功能来查看其格式是否正确。

robots.txt 文件可能适用于搜索机器人，即使 Content-Type 标头不正确，但最好不要冒险。