4

我目前正在编写我的 robots.txt 文件，在决定是否应该允许或禁止某些文件夹用于 SEO 目的时遇到了一些麻烦。

这是我拥有的文件夹：

  • /css/ (css)
  • /js/ (javascript)
  • /img/（我用于网站的图像）
  • /php/（PHP 将返回一个空白页面，例如 checkemail.php 检查电子邮件地址或 register.php 将数据放入 SQL 数据库并发送电子邮件）
  • /error/（我的错误 401,403,404,406,500 html 页面）
  • /include/（我包括header.html和footer.html）

我正在考虑只禁止 PHP 页面，让其余的。

你怎么看？

非常感谢

洛朗

4

1 回答 1

5

/css 和 /js -- CSS 和 Javascript 文件可能会被 googlebot 抓取，无论您是否在 robots.txt 中有它们。Google 使用它们来呈现您的页面以进行站点预览。谷歌很好地要求你不要把它们放在 robots.txt 中。

/img -- 即使在 robots.txt 中，Googlebot 也可以像 CSS 和 Javascript 一样抓取它。将您的图片放入 robots.txt 通常会阻止它们在 Google 图片搜索中被编入索引。Google 图片搜索可能是您网站访问者的来源，因此您可能希望在那里被索引。

/php - 听起来您不希望蜘蛛访问执行操作的 url。使用 robots.txt 的好电话

/error——如果你的站点设置正确，蜘蛛可能永远不会知道你的错误页面是从哪个目录提供的。他们通常会在有错误的 url 处获得服务，并且蜘蛛永远不会看到他们的实际 url。如果您重定向到它们，则情况并非如此，无论如何都不建议这样做。因此，我想说没有必要把它们放在 robots.txt

于 2013-02-10T23:28:13.043 回答