asp.net - 如何在搜索引擎结果中隐藏 Robots.txt？

Question

我不想在搜索结果列表中看到Robots.txt。我正在做一个asp.net项目。

我发现了一些失败的解决方案，其中之一如下：

• 在标题中使用“X-Robots-Tag”。

但我想隐藏一个 txt 文件，因此其中没有“标题”部分。

感谢帮助。

Answer 1

大写对大多数流行的搜索引擎很重要，包括谷歌（来源）。将您的文件名从 更改Robots.txt为robots.txt. 如果您正确命名它，大多数流行的搜索引擎（Bing、Yahoo、Google 等）都不会将其编入索引。您无需付出额外的努力。

这是描述区分大小写的雅虎爬虫帮助。

这是描述爬虫对 robots.txt 的常见礼貌的标准。明确指出空的 robots.txt 文件将被完全忽略，并且它们不被索引是常识。否则，我们会在 Google 中看到数十亿个 robots.txt 搜索结果。

Answer 2

通过 http 发送的 txt 文件有一个标头（包含 type:text/plain），只需接受请求并使用您自己的标头发送 txt。