apache - htaccess 重写规则问题

Question

我的 htaccess 文件中有一个重写规则，如下例所示：

     RewriteRule ^company\/([a-zA-Z0-9]+)\/(.+)$ comp_inf.php?cid=$1

     RewriteRule ^company\/([a-zA-Z0-9]+)\/img/(.*)$ ./img/$1 [L]
     RewriteRule ^company\/([a-zA-Z0-9]+)\/css/(.*)$ ./css/$1 [L]
     RewriteRule ^company\/([a-zA-Z0-9]+)\/js/(.*)$  ./js/$1  [L]     

url 链接将如下所示：

     http://www.example.com/company/1        

在谷歌搜索中，我发现了 htaccess 文件中未定义的重复页面

他们看起来像这样：

     http://www.example.com/company/1/page1.php
     http://www.example.com/company/1/page2.php

我的问题是如何拒绝扫描这些页面以及为什么这种扫描专门针对这两个页面进行。

提前致谢。

提供。

Answer 1

首先，您应该发送一个X-Robots noindex,nofollow 标题，其中包含那些意外被索引的页面。一旦这些页面不再在 google 上列出（加快速度），您就可以创建一个 robots.txt，其中包含如下内容：

User-agent: *
Disallow: /company/*/*.php

注意http://www.example.com/company/1/到 page1.php 或 page2.php的非绝对链接- 例如：

<a href="page1.php">anchortext</a>