0

今天我在我的网络主机上偶然发现了一个名为“error.log”的文件夹。我想我会看看。

我看到多个“文件不存在”错误 - 条目分为三种类型：

  • 机器人.txt
  • 缺少.html
  • 苹果触摸图标precomposed.png

我对这些文件的用途有一些猜测，但想明确知道：

  • 有问题的文件是什么？
  • 我应该将它们添加到我的服务器吗？
  • 什么提示要为这些写入错误日志？是有人明确要求他们吗？如果是这样，谁以及如何？
4

1 回答 1

2

网络robots.txt爬虫/机器人读取文件以允许/禁止它在您的服务器上抓取资源。然而，机器人读取这个文件不是强制性的，但是好的机器人可以。在http://en.wikipedia.org/wiki/Robots.txt有一些进一步的示例示例文件可能看起来像并且将驻留在 Web 根目录中：

User-agent: *   # All robots
Disallow: /     # Do not enter website

或者

User-Agent: googlebot   # For this robot
Disallow: /something    # do not enter

apple-touch-icon-precomposed.png解释https://stackoverflow.com/a/12683605/722238 _

我相信missing.html某些人将其用作定制的 404 页面。机器人可能被配置为抓取此文件，因此请求它。

如果你想控制机器人从你的服务器上刮下的资源，你应该添加一个 robots.txt 文件。如前所述，机器人读取此文件不是强制性的。

但是，如果您想添加其他两个文件以删除错误消息，那么我认为没有必要。没有什么可以说 joe_random 不会在您的服务器上发出请求，/somerandomfile.txt在这种情况下，您将收到另一个不存在的另一个文件的错误消息。然后，您可以将它们重定向到自定义的 404 页面。

于 2013-04-15T01:58:52.143 回答