0

我试图让 Facebook 在 DigitalOcean 服务器上抓取我们新推出的网站。当我们通过它的 IP — 178.62.136.69 执行此操作时,效果很好。但是,如果我们使用该 IP 附加的域名 — www.stuvoplus.be;我们得到以下错误:

必须修复的严重错误

错误的响应代码 URL 返回了错误的 HTTP 响应代码。

因此,Facebook 以某种奇怪的方式接受直接 IP 但忽略附加域。我们尝试致电我们的提供商以获取域名,但他们直接回击我们,说他们做了他们需要做的事情:添加正确的记录,以便域指向 IP。

我们可以做些什么来让 Facebook 正确抓取我们的网站?

先感谢您,

扫描电镜

带有 IP 爬取的响应代码 200

带有域抓取的响应代码 404

4

1 回答 1

0

得到了解决方案。由于 DNS 记录同时具有 ipv4 作为 ipv6 地址,因此 Facebook 的爬虫将 ipv6 作为默认网关。我们的服务器没有监听 ipv6,所以 Facebook 无法访问服务器。我们删除了 ipv6 记录,1 小时后一切正常。

于 2014-09-18T09:15:14.463 回答