java - 在多线程程序中使用 Jsoup 的 400 个 Http 错误

Question

我创建了一个解析 html 页面的程序。我在 ThreadPool 内的可调用类中使用 jsoup 连接函数。问题是我连接到同一个网站并且线程池大小为 5+，我得到 IO Exceptions - 400 错误。

我怎样才能不发生这种情况？

Answer 1

如果您收到 400 HTTP 响应，请检查响应内容以获取错误消息。400 表示某种错误请求：您没有包含所有必需的信息或包含格式错误的信息。当客户做了他们不喜欢的事情时，有些人还使用它作为一种包罗万象的方法。如果您提出许多不同的请求，请检查导致 400 的请求，看看它们是否有问题。如果它们看起来都正确，或者如果您重复发送相同的请求，那么您访问的站点可能有某种速率限制，不允许您在特定时间范围内发出过多的并发请求或过多的请求。如果是这样的话，我希望回复中会有一条消息告诉你发生了什么。