我在我的站点中使用 htaccess,这样对我站点的所有请求都将被重定向到我的根目录中的索引页面。无法访问我站点中的其他文件,因为我的 htaccess 会限制它。我的疑问是,当我使用 robots.txt 文件时,搜索引擎是否能够访问我域中的 robots.txt 文件?或者我必须修改我的 htaccess 文件以允许搜索引擎读取 robots.txt 文件。如果是这样,请帮助我找到 htaccess 的特定代码。
问问题
779 次
2 回答
2
我想你正在使用某种重写。您可以使用以下规则从 mod_rewrite 处理的文件中排除文件:
RewriteCond %{REQUEST_FILENAME} -f
RewriteRule ^(.*) $1 [L]
在这种情况下,所有确实存在于 webroot 中并被直接调用的文件都不会被进一步处理。用 robots.txt 替换 _%{REQUEST_FILENAME} 就可以了。
最好的祝愿,
法比安
于 2009-12-08T13:28:50.783 回答
2
如果您自己可以通过网络浏览器访问 robots.txt,试试看怎么样?如果可以,那么搜索引擎也可以,反之亦然(除非您使用某些 IP 或浏览器特定的重定向等)。即http://yoursite.com/robots.txt
于 2009-12-08T13:32:28.750 回答