php - 识别和渲染机器人

Question

我们有一些过滤器来征用爬虫，或者浏览器中的机器人和渲染应该没有区别？
请求机器人应该被视为通过浏览器进行的常见访问？

我读到机器人有谷歌网页版和移动版。
我们需要确定移动机器人是不是像手机一样显示内容？

Answer 1

robots.txt您可以从您的域根目录中调用的文件告诉机器人它可以访问和不能访问的内容。

你读过这个吗？

http://www.robotstxt.org/robotstxt.html

它解释了如何允许/禁止来自您网站某些区域的机器人。

例子：

从部分服务器中排除所有机器人

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/