0

我正在尝试抓取 new.google.com 并获取一些信息,我在本地没有问题,但是当我部署到我们的数据中心时,它失败并显示“连接被拒绝”,这意味着它被阻止了。

 Get https://news.google.com?ceid=en%3Agb&gl=en-gb&hl=en-gb&hs=en-gb&pz=1: dial tcp 172.217.5.206:443: connect: connection refused

我们是否有任何其他方法可以通过标头和旁路来畅通无阻?或者如果我必须使用谷歌进行一些测试,使用付费 API 是唯一的选择?

有人遇到并解决了吗?

4

1 回答 1

1

这很常见。其他人使用相同的 IP 地址进行抓取,甚至更糟:) 所以它被阻止了。

您可以使用一些代理服务。有些是免费的,所以它可以完成测试工作。

在你问之前......免费代理服务超级慢,可能已经被阻止了:)

于 2020-04-18T00:02:33.310 回答