我在我的站点中使用 htaccess，这样对我站点的所有请求都将被重定向到我的根目录中的索引页面。无法访问我站点中的其他文件，因为我的 htaccess 会限制它。我的疑问是，当我使用 robots.txt 文件时，搜索引擎是否能够访问我域中的 robots.txt 文件？或者我必须修改我的 htaccess 文件以允许搜索引擎读取 robots.txt 文件。如果是这样，请帮助我找到 htaccess 的特定代码。
问问题
779 次
2 回答
2
我想你正在使用某种重写。您可以使用以下规则从 mod_rewrite 处理的文件中排除文件：
RewriteCond %{REQUEST_FILENAME} -f
RewriteRule ^(.*) $1 [L]
在这种情况下，所有确实存在于 webroot 中并被直接调用的文件都不会被进一步处理。用 robots.txt 替换 _%{REQUEST_FILENAME} 就可以了。
最好的祝愿，
法比安
于 2009-12-08T13:28:50.783 回答
2
如果您自己可以通过网络浏览器访问 robots.txt，试试看怎么样？如果可以，那么搜索引擎也可以，反之亦然（除非您使用某些 IP 或浏览器特定的重定向等）。即http://yoursite.com/robots.txt
于 2009-12-08T13:32:28.750 回答