我刚刚发现一个网站显示一个标题到 google bot，当人类访问页面时显示另一个标题，www.travelprofessor.com/ 站点它并访问真实页面，你会发现不同。
问问题
167 次
1 回答
1
谷歌“机器人”使用特定的用户代理：
https://support.google.com/webmasters/answer/1061943?hl=en
附带说明一下，这可能是在服务器端检查的，因为爬虫没有 Javascript...
于 2013-10-28T13:28:22.763 回答