我有一个使用 CloudFront 在 AWS 上托管的网站，由于某些法律限制，该网站只能在英国和爱尔兰访问。
在 CloudFront 中设置地理限制并通过网站管理员工具（上周初 - 1 月 2 日）将域提交给谷歌后，我注意到该网站尚未被谷歌索引甚至识别（搜索域或site:mysite.co.uk 不会产生任何结果）。
我的想法是，这是因为谷歌爬虫试图从美国服务器访问该页面，被重定向到通用错误页面，说该站点仅适用于英国和爱尔兰，然后拒绝将其编入索引这似乎是一个质量非常低的网站。
有没有人遇到过类似的问题并找到了解决方案？
我计划向 Google Webmaster Tools 提交站点地图，看看是否有帮助，但我也在考虑 robots.txt 文件是否有助于解决这个问题。
如果你同意，对我应该放在那里的规则有什么建议吗？我一直使用这个文件来简单地让爬虫知道网站的哪些部分从索引中排除。
任何建议都会非常有帮助。
先感谢您，
亚当