java - AppEngine Java 中的 Robots.txt

Question

我有一个 Java AppEngine 网络应用程序。我在 appengine 管理控制台的仪表板中注意到，每天都会遇到一个 URI 错误/robots.txt。

如何消除错误？

Answer 1

robots.txt是搜索引擎和其他机器人在处理您的网站之前使用的神奇 URL。有关更多详细信息，请参阅维基百科。

在 GAE 上处理此错误的最佳方法是放置一个 robots.txt 文件，并将其定义为您的app.yamlfor gae/python 中的静态文件：

- url: /(robots\.txt)
  static_files: \1
  upload: (robots\.txt)

在appengine-web.xmlgae/java 中：

<?xml version="1.0" encoding="UTF-8"?>
<appengine-web-app xmlns="http://appengine.google.com/ns/1.0"
                   xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance'           xsi:schemaLocation='http://kenai.com/projects/nbappengine/downloads/download/schema/appengine-web.xsd appengine-web.xsd'>
    ....
    <static-files>
        <include path="/favicon.ico" />
        <include path="/robots.txt" />
        <include path="/img/**.png" />
        <include path="/img/**.gif" />
        <include path="/css/**.css" />
</static-files>

当然，您也可以忽略错误，它们对除了您自己以外的任何人都无关紧要（没有人遇到错误）。