meta-tags - 根目录中的 Robots.txt 会覆盖 Meta 标签还是 Meta 标签会覆盖 robots.txt 文件？

Question

我不希望任何搜索引擎索引我的网站，所以我将 robots.txt 放在根目录中；这会覆盖 Meta 标签还是 Meta 标签会覆盖 robots.txt 文件？

问这个问题的原因是某些页面可能有 Meta 标签告诉机器人索引，跟随，但是我已经将网站移动到一个子域名女巫我仍在调整网站之前它上线替换旧的网站，我不想删除所有告诉机器人索引的元标记，然后当网站准备好时，必须替换告诉机器人索引的元标记，所以我认为 robots.txt 是除了告诉机器人不要索引之外，最快，最简单且不会更改站点，如果那是我在文本文件中的内容，请遵循。

Answer 1

好吧，如果 robots.txt 不允许抓取包含该文档的目录，那么他们可能永远无法访问该文档，所以没有问题。

如果 HTML 链接中有“follow”属性，机器人会将这些 URL 排队等待抓取，但是当它实际尝试抓取时，它会在 robots.txt 中看到该块而不是抓取。

简短的回答是：robots.txt 将阻止行为良好的爬虫跟踪链接，无论它从何处获得该链接或在找到该链接时与该链接相关联的属性如何。