python - 是否可以使用带有谷歌趋势的代理旋转器，例如 crawlera？

Question

由于谷歌趋势需要您登录，我仍然可以使用诸如 crawlera 之类的 IP rotator 来下载 csv 文件吗？如果是这样，是否有任何带有 python 的示例代码（即 python + crawlera 在谷歌上下载文件）。

提前致谢。

Answer 1

是的，可以使用 Crawlera 以及其他代理 api，例如https://gimmeproxy.com。它提供了可能对您有用的 Google 代理。

Answer 2

没有人会为你编写代码。

但我可以留下一些评论，因为过去几个月我一直在使用 Crawlera 代理。

使用 crawlera，您可以每次使用新 IP 抓取 Google Trends，甚至每次都可以使用相同的 IP（在 crawlera 中称为会话管理）。

'X-Crawlera-Session':'create'您可以随请求一起发送标头，Crawlera 最后会创建一个会话，作为响应，它们会返回'X-Crawlera-Session': ['123123123']……如果您认为自己没有被 Google 屏蔽，

您可以'X-Crawlera-Session': '123123123'随每个请求一起发送，以便 Crawlera 每次都使用相同的 IP。

Answer 3

文档中有多种语言的代码示例。有关 Python 示例，请参阅https://doc.scrapinghub.com/crawlera.html#python。