这个问题仅在一个月前出现，当时 Moz 报告它不再能够抓取我们的网站，因为该活动是为我们的根域配置的，但我们所有的流量都被转发到“www”子域。
因此，“example.com/some-page.html”被正确转发到“www.example.com/some-page.html”（以及我们网站上的所有其他页面）。
'www.example.com/robots.txt' 也可以正常工作。
'example.com/robots.txt' 获得连接超时。
我已经用https://httpstatus.io/彻底测试了所有这些
我们的 DNS 注册商是 GoDaddy，我们的网站托管在 Heroku 上，我们的平台是 Ruby on Rails。