1

设想:

Main website: example.com
Static media served from CDN: xxxxx.cloudfront.net (CNAME: cdn.example.com)

为了阻止 Google 和其他索引机器人索引 CDN URL(xxxxx.cloudfront.net 和 cdn.example.com)及其内容,有人建议我采取以下步骤:

1)创建一个 .htaccess 重写规则:

RewriteEngine On
RewriteCond %{HTTP:VIA} ^.*\.CloudFront\..*$
RewriteRule ^robots\.txt$ robots_cloudfront.txt [L]

2) 使用以下命令创建 robots_cloudfront.txt:

User-agent: *
Disallow: /

我的问题是:

1)这会按预期工作吗?

2) 上述 .htaccess 规则在 Nginx 上的翻译效果如何?不确定以下是否正确:

location / {
if ($http_via ~* "CloudFront") {
rewrite ^/robots\.txt$ /robots_cloudfront.txt break;
}
}

谢谢!

4

0 回答 0