0

我注意到 Pinterest 和其他一些网站允许用户选择是否不希望自己的名字被搜索引擎索引。我想在我们的网站上做类似的事情。本质上，我想让用户在有人在 Google/etc 上搜索他们的名字时不会显示他们在留言板上的评论。

不确定它是否相关，但我们正在使用 Ruby on Rails。

谢谢，

4

2 回答 2

1

在您的服务器的根目录中使用robots.txt来告诉机器人是否索引您的网站。http://www.robotstxt.org

如果您只想隐藏网站的一部分，您可以使用googleon和googleoff标签，请按照以下步骤操作：http: //perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/

还要记住，robots.txt 只是机器人的指南。它实际上并没有禁止他们或任何人进入您的网站。

于 2012-11-15T06:59:15.340 回答
1

没有标准的方法告诉搜索引擎一个页面应该只被部分索引。您可以禁止对整个页面进行索引（ -元素或 HTTP 标头的noindex值）或抓取（在文件中），但不能禁止特定部分。 一个例外是从外部源包含的内容，该外部源本身被阻止爬行（例如，元素）。metarobotsX-Robots-TagDisallowrobots.txt
iframe

当然，您可以使用一些“hacks”，例如利用搜索引擎无法（或不希望）索引使用 JavaScript 插入的某些元素或内容。但这可能随时中断。搜索引擎会变得更好，并且将来可能会开始索引此类内容。

可能的解决方案（但没有权衡）：

  • 权限系统：使这些特定用户的帖子只有注册用户才能阅读，所以搜索引擎根本看不到他们。权衡：如果用户（不允许将其内容/名称编入索引）引用此类受限帖子的文本，则它会再次出现在搜索索引中。

  • 当这样的特定用户在那里发布时，不允许对整个页面进行索引。权衡：此线程没有搜索引擎结果

  • 匿名化这些特定用户的名称。权衡：社区可能会受到影响。

一般来说，我会尽量避免实现这样的功能（或至少不依赖它）。它要么是公共董事会，要么是私人董事会。如果需要，我只允许线程启动器使用它。当用户创建一个新线程时，他可以选择它是私有线程还是公共线程。如果是私有线程，则整个页面将获得noindex（或更好：权限限制）。所有其他用户都会被告知他们是在私人线程还是公共线程上发帖。因此，如果有人想保持“私密”，他只会在私密线程中发帖。

于 2012-11-16T14:35:30.907 回答