java - 检索需要加载时间的网页

Question

我正在使用 Jsoup 解析网站的内容。问题是页面上有一些数据需要几秒钟才能加载。为此，我的程序只能获取加载图形，而不能获取加载数据。这是我得到的：

<div class="sidebar_section">
    <h3><a href="#" class="sidebar_toggle down">Counsel</a></h3>
        <ul style="display:none;" id="counsel">
            <li>Loading &nbsp;&nbsp;<img src="/members/images/ajax-loader3.gif" /></li>
        </ul>
</div>

如果我在浏览器中打开这个 url，我实际上可以看到这个块的内容，而不是“正在加载”这个词。

我想知道页面完全加载后是否有任何获取内容的方法。这是我的简单代码：

Document doc = Jsoup.connect(url).get();

任何帮助都非常感谢。

Answer 1

HttpURLConnection可能是抓取网页的更好方法，因为它提供了更多控制和错误处理，而且您可以获得 MIME 类型和字符编码。