设想:
Main website: example.com
Static media served from CDN: xxxxx.cloudfront.net (CNAME: cdn.example.com)
为了阻止 Google 和其他索引机器人索引 CDN URL(xxxxx.cloudfront.net 和 cdn.example.com)及其内容,有人建议我采取以下步骤:
1)创建一个 .htaccess 重写规则:
RewriteEngine On
RewriteCond %{HTTP:VIA} ^.*\.CloudFront\..*$
RewriteRule ^robots\.txt$ robots_cloudfront.txt [L]
2) 使用以下命令创建 robots_cloudfront.txt:
User-agent: *
Disallow: /
我的问题是:
1)这会按预期工作吗?
2) 上述 .htaccess 规则在 Nginx 上的翻译效果如何?不确定以下是否正确:
location / {
if ($http_via ~* "CloudFront") {
rewrite ^/robots\.txt$ /robots_cloudfront.txt break;
}
}
谢谢!