php - PHP cURL - 如何检查 Google Crawler 是否获取正确的 robots.txt

Question

谷歌不知何故开始索引我网站的 https 版本。为了阻止这种情况，我阅读了一个教程，该教程说我需要 2 个不同的 robots.txt 文件和 .htaccess 中的一些附加代码

.htaccess

RewriteCond %{HTTPS} on
RewriteRule ^robots\.txt$ robots-https.txt

机器人-https.txt

User-agent: *
Disallow: /

现在已经过去了一些日子，谷歌还没有开始对 https 页面进行索引。所以现在我有点担心，想测试一下更改是否正确。

有没有办法使用 PHP 和 cURL 来检查在 https 连接中使用了哪些 robots.txt？

感谢您的任何建议！

Answer 1

如果您从不同的文档根目录提供站点的两个版本，则只需保留 robots.txt 的两个副本：

/home/sites/example.com/http/robots.txt
/home/sites/example.com/https/robots.txt

如果它们都来自同一个物理目录，那么您可以简单地在虚拟主机定义中使用 Apache 别名：

<virtualhost example.com:443>
   Alias /robots.txt  /physical/path/to/ssl/robots.txt
</virtualhost>

<virtualhost example.com:80>
   Alias /robots.txt /path/to/standard/robots.txt
</virtualhost>

无需求助于正则表达式和 mod_rewrite。