1

我正在尝试根据发送请求的 IP 的地理位置来抓取提供不同页面的网站。我正在使用位于美国的亚马逊 EC2（这意味着它提供了一个面向美国的页面），但我想要将在印度提供的页面。scrapy 是否提供了一种以某种方式解决此问题的方法？

4

1 回答 1

2

如果您正在抓取的站点进行基于 IP 的检测，那么您唯一的选择就是以某种方式更改您的 IP。这意味着要么使用不同的服务器（我不相信 EC2 在印度运行），要么代理您的服务器请求。也许您可以找到印度代理服务？

于 2012-11-08T22:53:36.503 回答