java - 在java中每分钟运行数百个http请求

Question

我正在使用 J2SE 开发一个应用程序，它会定期访问大量网站。高意味着数百个，通常意味着每分钟 - 因此，每分钟大约有 500 个 http 请求。

我的问题是，我应该注意 J2SE 中的任何限制吗？例如，http 请求池很差，我应该为此使用第三派应用程序，或者有某种缓冲区，这可能会减慢速度等。

谢谢，克里斯

Answer 1

你应该找到一个专门针对这种流量的 http 客户端库。我认为内置程序不适合如此大量的请求。Apache httpClient 可能是一个候选者。

Answer 2

我知道关于 java.net http 客户端的限制是围绕身份验证（它可能难以扩展，并且在需要使用可能不同的凭据来调用相同的服务器环境中并不能很好地工作URL）、处理 cookie 和构建多部分帖子。

如果这些限制对您没有影响，或者您发现它们很容易解决，我发现 java.net 客户端执行得非常好。我还发现在尝试使用连接池以在多线程环境中利用 http keep alive 时使用起来更容易。正如另一个人提到的，这对于 Apache http 客户端来说是一个特别困难的领域。