php - 禁止机器人可以用htaccess绕过吗？

Question

我有一个简单的问题。假设我在robots.txt 中有这个：

User-agent: *
Disallow: /

在.htaccess中是这样的：

RewriteRule ^somepage/.*$ index.php?section=ubberpage&parameter=$0

当然在index.php中是这样的：

$imbaVar = $_GET['section']
// Some splits some whatever to get a specific page

include("pages/theImbaPage.html") // Or php or whatever

机器人是否能够看到脚本 ( site.com/somepage) 包含的 html 中的内容？我的意思是…… URL 指向一个无法访问的地方……（/somepage不允许这样做），但它仍然被重定向到一个有效的地方（index.php）。

score 1 · Accepted Answer

假设机器人会robots.txt尊重Disallow: /.

但是，如果机器人不尊重您的robots.txt文件，那么他们将能够看到内容，因为重定向是在服务器端进行的。

score 1 · Accepted Answer

不可以。通过禁止机器人访问，机器人将无法浏览您网站上的任何页面，并且它们会遵守您的规则

2 回答 2