从我目前能够找到的信息来看，<noindex>应该可以实现这一点，使页面的单个部分对搜索引擎蜘蛛隐藏。但是，许多浏览器似乎也没有遵守这一点 - 所以如果是这样的话，除了 / 之外，应该使用什么标记来代替它？
- 雅虎使用内置类：
<span class="robots-nocontent"> - Googlebot 没有等效项（？）
- Yandex 使用
<noindex> - 其他的？
问问题
545 次
1 回答
2
没有办法阻止爬虫索引任何东西，由它们的作者决定爬虫会做什么。遵守规则的人，例如 Yahoo Slurp、Googlebot 等。正如您已经发现的那样，他们每个人都有自己的规则，但是否完全遵守规则仍然取决于他们 - 假设您设置robots-nocontent了那部分仍然被索引并放在其他地方，可能用于检查垃圾邮件、非法材料、恶意软件等。
这只是针对“好”的，不知道坏的会做什么。因此，将所有 noindex 内容视为一组指导方针，而不是一组严格的规则。
唯一可以肯定的是：如果您有敏感数据，或者您根本不希望某些内容被索引 -不要将其公开。
于 2015-03-15T08:13:31.123 回答