我有一个利用 Byethost 的免费站点，它利用 iFastnet 托管服务。一段时间以来，我的网站已被谷歌“取消索引”，因为由于某种原因它现在无法获取我网站的任何方面。我可以在任何网络浏览器中毫无问题地访问我的网站，并且我没有更改该网站的任何代码。我的 robots.txt 甚至设置为
User-agent: *
Allow: /
奇怪的是，谷歌结构化数据工具能够获取任何页面，但谷歌爬虫的所有其他方面都无法从网站获取资源。
例如，通过谷歌测试 robots.txt 时，它说
You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file. Learn more.
很明显，谷歌在到达服务器并下载 robots.txt 资源之前就以某种方式被阻止了。
当我从我的计算机上 cURL 网站时，它也会给我一个 403 错误。但是当我尝试在私人服务器上卷曲网站的副本时，它会毫无问题地返回页面。这肯定与谷歌的问题有关。
但我没有 .htaccess 或任何安全功能，如启用 IP 黑名单，所以这非常令人困惑。
我的 byethost 免费计划也不应该有 cloudflare，因为它是一项高级功能。
谁能提供一些关于我为什么会收到这些 403 错误的见解？这是否与 Google 无法再访问该网站的原因相同？我怎样才能解决这个问题？
谢谢