screen-scraping - 如何将网站读取为不同的 IP 地址？

Question

我正在使用 Nokogiri 筛选一些网站。我的网站托管在美国服务器上，因此当它获取网站时，网站的响应就像用户是美国用户一样。我需要网站像我是澳大利亚用户一样做出响应，即使服务器位于美国。在本地运行时，它运行良好，因为在本地它的响应就像是澳大利亚的一样。

如何使用 Nokogiri 阅读网站，就好像我来自另一个国家一样？

Answer 1

您必须通过澳大利亚的代理运行您的请求。

这与 Nokogiri 没有任何关系 - 无论您如何尝试抓取页面，它都适用。HTTP 通过 TCP 传输，这是一种双向协议，因此您无法欺骗其 IP 地址。如果您试图欺骗 TCP 数据包的 IP 地址，您将永远无法得到响应。

Answer 2

您可以将Tor配置为始终使用来自特定国家的出口节点。但是，如果这会使 Tor 网络受到严重压力（即不断地获取页面），请不要使用此方法；在这种情况下，请考虑购买（基于澳大利亚的）匿名服务（或只是代理）。