我正在从 Facebook 抓取事件数据。
为此,我没有使用 API,而只是从事件的公共页面获取源代码并从中删除 JSON+LD。
它运行良好,但现在 Facebook 开始阻止我们:
我们在法兰克福的 Digitalocean 上有一台服务器。我已经更改了服务器的 IPv4 和 IPv6,但结果是一样的。我已经通过多个 TOR 出口节点和多个 VPN 尝试了同样的事情,并且大约 80% 的请求以相同的方式被阻止(根据最后一个代理服务器的位置使用不同的翻译)。
Facebook 是否有一些算法来检测来自服务器的请求并允许来自最终用户的请求?
有什么好方法可以绕过这个禁令吗?例如,一些非阻塞的服务器/VPN 提供商?从服务器到我的家庭计算机的 SSH 隧道并从我的家庭 IP 传输?或者在 HTTP 请求中添加一些标头/像木偶一样通过无头浏览器?
你有这个问题的经验吗?
