php - 识别 googlebot 的最佳方法

Question

识别 Googlebot 抓取工具的最可靠、最快捷的方法是什么？rDNS 可以被欺骗，因此 googlebot ip 列表看起来是最可靠的方法。是否有任何站点/资源可以获取实际的 googlebot ips？欢迎任何其他想法。

score 2 · Accepted Answer

如果您真的想对 IP 进行硬编码（我不推荐它，因为它可以随时更改，恕不另行通知），这里有一个可用列表。我会推荐（以及Goggle Webmaster 的博客上推荐的）是你先做一个反向 DNS，然后再做一个正向 DNS 来验证这一点。这应该始终有效，并且不能被欺骗。

score 0 · Accepted Answer

谷歌机器人使用以下范围 -

更多信息在这里 -

2 回答 2