robots.txt - 根据 robotstxt.org 取消列出子域或目录

Question

根据 robotstxt.org

第一个答案是一种解决方法：您可以将不希望机器人访问的所有文件放在单独的子目录中，使该目录在网络上不可列出（通过配置您的服务器）

如何将我的服务器配置为具有未列出的目录或子域？

Answer 1

这取决于服务器及其配置。

由于列出文件夹的内容可能是隐私/安全问题，因此大多数服务器默认情况下可能不会这样做。某些服务器可能仅在没有index.html文件时才显示文件夹内容。

对于 Apache，请参阅mod_autoindex。

如果您的服务器列出内容，您可以轻松测试它：

1. 创建文件夹test
2. 添加dummy.txt文件
3. 访问此文件夹的 URL，例如http://example.com/test/

如果您收到错误消息，您的服务器不会列出内容。如果您看到包含 的链接列表dummy.txt，则您的服务器会列出内容。