robots.txt - 他们如何以及为什么将 robots.txt 文件重定向到他们网站上的主页？

Question

文件robots.txt通常只是站点根目录下的文本文件。例如，您可以查看www.amazon.com/robots.txt. 但是今天，我发现一个网站有一个奇怪的robots.txt文件。如果你只是输入

http://xli.bugs3.com/robots.txt

它不显示文本文件，而是显示该站点的主页。它怎么会发生，为什么网站管理员会这样做？

Answer 1

假设一个相当传统/基本的服务器设置，如您所说，它只是文件，它可能只是一个htaccess 重定向规则。该规则可能类似于“如果文件在服务器上则提供文件，否则只提供索引”。

或者它可能是像 Rails 这样的应用程序服务器，其中服务器目录结构和 URL 路径名之间没有直接关系。