-2

我是编程新手,所以如果我说一些愚蠢的话,请不要评判我。

我想知道是否有任何方法可以欺骗网络爬虫,因此对于人类访问者来说,网站的某些内容与网络蜘蛛不同。

所以这是我想到的一个想法。

每次访问者进入页面时,都会有一个脚本从 facebook API 识别用户性别。如果有返回(如果用户在同一个浏览器中连接到 facebook),那么将使用 PHP 将一些代码打印到页面代码中。如果是爬虫,则不会返回,所以该页面的源代码中不会存在代码。

我知道 PHP 是一种服务器端语言,因此网络爬虫无权扫描这些代码。如果我不正确,请纠正我。

谢谢你。

4

1 回答 1

0

我认为您尝试做的事情可以通过 robots.txt 来完成

该文件可以位于您的网络目录的根目录中,它定义了网络爬虫的规则。见这里:http ://www.robotstxt.org/

于 2013-03-03T15:42:27.073 回答