1

我的网络服务器经常崩溃，我注意到它总是在此错误日志条目之后发生：

[Sun Jun 22 00:41:41 2014] [error] [client 207.46.13.71] File does not exist: C:/*directory*/robots.txt

我知道这个 IP 属于 Bing 蜘蛛。据我了解，如果找不到 robots.txt 的实例，必应会尝试为我的网站编制索引。我相信当它试图索引我的网站时，导致崩溃的问题发生了。

我的问题是无法重新创建或定位问题。我的访问日志似乎没有显示 Bing 试图索引哪些文件，或者哪些脚本导致服务器崩溃。通过将无效或没有信息传递给某些脚本，我在黑暗中采取了一些措施，但到目前为止，我还没有找到任何损坏的东西。

谁能向我解释在尝试查找导致我的网络服务器崩溃的脚本时我可能还有哪些其他选择？

我在 Windows 机器上使用 XAMPP 运行 Apache/2.2.17。

4

1 回答 1

1

由于您没有 robots.txt，因此您基本上是在告诉 Bingbot 可以尽可能快地抓取您的网站。就像是：

User-agent: bingbot
Disallow:
Crawl-delay: 10

将在很大程度上帮助您了解失败的原因。没有 robots.txt 因为它“听起来像创可贴”，我认为这是错误的方法。

于 2014-06-22T06:20:32.017 回答