search - 制作个人资料搜索引擎 - 可搜索？

Question

在社交网络上，对于用户个人资料，如果帐户所有者将个人资料隐私设置给每个人，我们如何使个人资料搜索引擎可搜索？是否像在页面上添加机器人标签一样简单？那么如果用户将隐私更改为不可搜索，我们会删除标签吗？我需要在我的网站上实现此功能，但我不确定从哪里开始？

Answer 1

当然，您要解决的一件事是机器人排除协议（又名robots.txt），它指定搜索引擎爬虫应忽略哪些路径；您应该能够更新每个用户的偏好，以禁止未来的抓取。

您还可以查看 Google 的站点地图功能；这使您可以向 Google 建议 - 即使对于变化很大的页面列表 - Google 应该抓取哪些 URL（在您的情况下是您的用户配置文件的 URL）。正如他们所指出的，这并不能保证每个 URL 都会被抓取，但它应该会有所帮助。

我没有答案，我很想了解更多关于要求搜索引擎删除它已经爬取的 URL 的协议。据我所知，从 robots.txt 和 sitemap.xml 中删除页面不会立即让 Google 从其索引中删除该页面，但只会在搜索引擎确定它已过时时慢慢被修剪。另一方面，您的用户可能希望他们的页面在检查该特定偏好后就不能被搜索。您可能只需要让用户了解这种区别，但我也很好奇他们是否以编程方式来处理这个问题。（例如，我相信 Twitter 有办法要求 Google 在一条推文被删除后停止在搜索结果中返回它。）

Answer 2

每个配置文件都需要有一个唯一的 url。这可以通过不同的方式完成（如 mod 重写、ASP.NET 路由：http: //msdn.microsoft.com/en-us/library/cc668201.aspx等）。如果该页面不应该显示/非公开，当搜索引擎尝试查看它时，它会重定向到一个页面，该页面显示该个人资料不可公开查看。