java - 在java中使用多个IP进行抓取

Question

好吧，基本上我有一个抓取应用程序。它每分钟刮掉大约 n 个项目。目前我只有一个IP。

我正在抓取的网站允许我每个 IP 有 3 个连接。

我正在考虑获得另一个IP。

所以我将能够获得 6 个连接。

从理论上讲，我应该能够在 40 秒内或多或少地获得 n 个项目。

目前我正在使用 java (commons-httpcore) 来完成工作。

我不确定这是java问题还是操作系统问题。

我的机器有 IP 1 和 IP 2 我如何连接到，比如说，www.microsoft.com，使用 IP 1 和使用 IP2？我如何指定，我想使用哪个 ip 进行连接？

Answer 1

// requires HttpComponents Client 4.*
DefaultHttpClient httpclient = new DefaultHttpClient();
httpclient.getParams().setParameter(
  ConnRoutePNames.LOCAL_ADDRESS, 
  InetAddress.getByName("10.10.10.10")
);

请参阅：http ://hc.apache.org/httpcomponents-client/httpclient/apidocs/index.html