我研究了许多关于如何防止谷歌/其他搜索引擎抓取特定目录的方法。我见过的两个最受欢迎的是:
- 将其添加到 robots.txt 文件中:
Disallow: /directory/
- 添加元标记:
<meta name="robots" content="noindex, nofollow">
哪种方法效果最好?我希望这个目录对搜索引擎保持“不可见”,这样它就不会影响我网站的任何排名。
换句话说,我希望这个目录是中性的/不可见的并且“就在那里”。我不希望它影响任何排名。哪种方法最适合实现这一目标?