search-engine - 如何防止蜘蛛/搜索引擎关注“报告为攻击性内容”链接

Question

我有一个 Rails 应用程序。在我的评论部分，我在网站的某些（文章）页面上报告了攻击性内容的链接。我想通过搜索引擎获得拥挤的文章，但不是特定的链接report as offensive content。

所以，简而言之，我的问题是 - 如何防止蜘蛛/搜索引擎关注我网站的“报告为攻击性内容”链接？

Answer 1

您可以指定网络爬虫不使用robots.txt文件爬取的链接。

在此处了解更多信息：

http://www.robotstxt.org/

这是一个例子。robots.txt在您的应用程序的最顶层目录中创建一个，以便您的 domain.com/robots.txt 可以访问它。

User-agent: *
Disallow: /offensive

这说明对于每个用户代理，忽略/offensiveurl。

Answer 2

我找到了一个答案

优点： - 它很容易。就一行

<a href="mypage.html" rel="nofollow" />

但缺点：-

我们的测试表明，一些搜索引擎会抓取和索引 nofollow 链接。nofollow 标签可能会降低链接提供的排名值，但它不能可靠地用于阻止搜索引擎跟踪链接。