web-crawler - 如何从多个国家抓取网站？

Question

我在美国，正在对一个根据访问国家/地区提供不同版本的网站进行轻量级爬网。

从多个国家爬行的最佳方式是什么？是否有代理服务可以路由我的 http 请求？还是我需要在每个国家/地区租用轻量级虚拟机并安装自己的代理服务器？

Answer 1

您可以使用像 www.hidemyass.com 这样的免费网络代理 - 但不要期望太多。

那里也有一些免费的公共代理，只需使用您选择的搜索引擎即可找到它们。（或看这里http://www.hidemyass.com/proxy-list/）

或者使用TOR（虽然我不确定您是否可以选择特定的退出节点）。

如果您真的考虑租用虚拟机，您还可以订阅专业的代理服务（这意味着更多的带宽等）

Answer 2

那么我使用这个 curl，如果你的主要编程语言是 php，你可以在你的服务器上这样做：

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_PROXY, '195.175.37.72:80')
echo curl_exec($ch);

在互联网上，很多免费的代理服务器都使用谷歌。有些人让您可以通过代理获得金钱，但他们的服务更好。当然，您可以在其他国家购买机器，但我这样做的方式更便宜、更容易。