我创建了一个新网站，我不希望它被搜索引擎抓取，也不想出现在搜索结果中。
我已经创建了 robots.txt
User-agent: *
Disallow: /
我有一个 html 页面。我想用
<meta name="robots" content="noindex">
但谷歌页面说它应该在页面未被 robots.txt 阻止时使用，因为 robots.txt 根本看不到 noindex 标签。
有什么方法可以同时使用 noindex 和 robots.txt 吗？
问问题
54 次
1 回答
0
有两种解决方案，都不是优雅的。
你是对的，即使你Disallow: /的 URL 可能仍然出现在搜索结果中，只是可能没有元描述和谷歌生成的标题。
假设您只是暂时这样做，推荐的方法是在您的网站前进行基本的 http auth。这不是很好，因为用户必须输入基本的用户名和密码，但这会阻止您的网站被抓取和索引。
如果您不能或不想将基本身份验证放在您的网站前面，另一种方法是仍然Disallow: /在您的 Robots.txt 文件中，并使用 Google Search Console 通过请求删除该网站来定期清除 Google 索引索引。
这在很多方面都是不雅的。
- 您必须监控搜索结果以查看 URL 是否被编入索引
- 您必须在 Google Search Console 中手动请求删除
- Google 真的不打算以这种方式使用删除功能，谁知道随着时间的推移他们是否会开始忽略您的请求。但我想它实际上会继续工作，即使他们更喜欢你不那样使用它。
于 2015-09-26T06:00:57.570 回答