jsoup - Jsoup 返回与网络浏览器不同的 html

Question

我有一个url = "http://mp3.zing.vn/tim-kiem/playlist.html?q=Bảo Thy

Document doc = Jsoup.connect(url).get()

当我Jsoup用来获取html时。它不能正常工作。它返回与我使用浏览器时不同的 html。我怎么解决这个问题。

但是，当我使用不带参数的 url (http://mp3.zing.vn)时，它可以正常工作。

Answer 1

我已经解决了这个问题。

http://mp3.zing.vn/tim-kiem/playlist.html?q=Bảo thy

参数是越南语单词，在这种情况下，本网站使用 URL 编码。因此，我必须将所有参数编码为 UTF-8 编码。

keyword = URLEncoder.encode(keyword,"UTF-8");

和编码后的网址

http://mp3.zing.vn/tim-kiem/playlist.html?q=B%E1%BA%A3o%20thy

Jsoup 工作正常。

谢谢大家。关闭主题。

Answer 2

您很可能需要提供 cookie、会话或某种注册方法。

请检查：

爬取网站内容的建议

Answer 3

我有同样的问题，我通过

Document doc = Jsoup.connect("YourURL").userAgent("Mozilla").get();