java - JSOUP 在 Eclipse 中抛出 url 状态 503，但 URL 在浏览器中工作正常

Question

具体来说，这是与网站 amazon.com 相关的。我收到他们域的 503 错误，但我可以成功解析其他域。

我正在使用这条线

Document doc = Jsoup.connect(url).timeout(30000).get();

连接到 URL。

Answer 1

You have to set a User Agent:

Document doc = Jsoup.connect(url).timeout(30000).userAgent("Mozilla/17.0").get();

(Or others; best you choose a browser user agent)

Else you'll get blocked.

Please see also: Jsoup: select(div[class=rslt prod]) returns null when it shouldn't

Answer 2

你可以试试

val ret=Jsoup.connect(url)
  .userAgent("Mozilla/5.0 Chrome/26.0.1410.64 Safari/537.31")
  .timeout(2*1000)
  .followRedirects(true)
  .maxBodySize(1024*1024*3)    //3Mb Max
  //.ignoreContentType(true) //for download xml, json, etc
  .get()

它可能有效，也许 amazon.com 需要将 followRedirects 设置为 true。