.htaccess - 如何禁止机器人访问多站点的 robots.txt 的物理位置？

Question

如果我的 .htaccess 中有以下内容：（禁止机器人进入 /dir1/dir2）

Disallow: /dir1/dir2

我的 .htaccess 中有：（访问 robots.txt 时，将数据从 dir1/dir2/robots.txt 通过管道传输）

RewriteCond %{HTTP_HOST} ^.*domain\.com$
RewriteRule ^robots.txt$ dir1/dir2/robots.txt [NC]

“domain.com/robots.txt”是否仍会提供给机器人，而“domain.com/dir1/dir2/robots.txt”仍然无法访问它？

Answer 1

是的，“domain.com/robots.txt”仍将提供给机器人，因为机器人看不到服务器中文件夹的组织，它只看到页面 url。因此，使用此 url，它认为它位于根文件夹中，并且当您禁用“/dir1/dir2”并允许 root 时，它可以访问 robots.txt 文件。