robots.txt 文件在 PHP 项目中的作用是什么？
问问题
262 次
4 回答
2
它用于指示像 google 和 yahoo 这样的网络爬虫只抓取页面的一部分或根本不抓取。有关详细信息，请参阅http://www.robotstxt.org。
于 2010-05-26T08:54:06.947 回答
2
不是真正的 PHP，请参阅：
“Robots.txt”是一个常规文本文件，通过其名称，对网络上的大多数“尊贵”机器人具有特殊意义。通过在此文本文件中定义一些规则，您可以指示机器人不抓取和索引您站点内的某些文件、目录或根本不抓取和索引。例如，您可能不希望 Google 抓取您网站的 /images 目录，因为这对您来说毫无意义，而且会浪费您网站的带宽。“Robots.txt”可以让你告诉谷歌。
于 2010-05-26T08:48:30.877 回答
2
robots.txt 与搜索引擎机器人相关，而不是特定于 PHP 项目。它包含抓取您网站的机器人的说明，例如您不想被搜索引擎抓取的网址等。
于 2010-05-26T08:49:19.620 回答
0
robots.txt 位于您网站的 / 中。
当搜索引擎机器人找到您的网站时，它首先会请求 robots.txt 以找出它可以索引哪些 URI 并且不能索引。
这是为了防止（这是一个约定，因此机器人可以忽略它）您网站的某些部分在 Google/Yahoo 中弹出（例如您的喊话框...）
于 2010-05-26T08:49:25.860 回答