0

我正在使用 htaccess 重写并重定向www.mysite.com/index.php?id=#到友好的 url，例如www.mysite.com/news. 所以所有的新闻文章都会写成www.mysite.com/news/article1，等等。

现在，我将阻止服务器上不需要使用 robots.txt 索引的所有目录。由于我使用的是 cms，因此这些目录是 /core、/managers、/connectors 等。但由于该www.mysite.com/news目录实际上并不存在，而是用 htaccess 重写，因此会阻止所有目录，如 /core 等。仍然允许爬虫索引我的网站？

所以基本上我想知道的是：爬虫是否会在重写后看到我的网站网址？还是它仍然需要访问我的 cms 的其他目录，例如 /core 才能索引我的页面？

4

1 回答 1

0

不，重写的 URL 只是一个内部映射过程。它仅由您的 Web 服务器用于确定如何处理它接收到的用户友好 URL。

与浏览器地址栏中的 URL 保持不变的方式相同，该过程对客户端是不可见的，无论是 Web 浏览器还是机器人。

不要将 URL 重写与重定向相混淆。在后一种情况下，客户端请求会收到“301 重定向”响应，其中包含实际资源所在的 URL。这会导致客户端向重定向的 URL 发出第二个请求。然后根据定义，客户将知道这个过程。

于 2013-08-09T14:07:20.397 回答