php - 为人类显示登录屏幕，但允许机器人索引

Question

我目前正在 WordPress 中开发 Pinterest 克隆。

我想知道当你必须登录才能看到 pin 屏幕时，Pinterest 如何设法让搜索引擎索引他们的网站？

所以，我需要一个解决方案，用户必须登录网站，但搜索引擎仍然可以在不登录的情况下索引所有内容。这在技术上是伪装吗？

有任何想法吗？

Answer 1

您可以在脚本中使用反向 DNS 查找来执行此操作。谷歌自己建议这种方法。使用 PHP，您可以使用gethostbyaddr().

Answer 2

最快的方法是检查用户代理字符串。完整列表位于http://user-agents.org/。

如果您尝试使用 Leonard 建议的 DNS 方法，您会发现它非常慢。有些 IP 甚至没有有效的反向查找。有问题的页面建议进行反向查找，仅用于验证在 user-agent string 中声称是 googlebot 的请求的来源。在您受欢迎之前，您不应该担心人们会入侵他们的浏览器（假装是 googlebot）。