java - 如何使用 Jsoup 从网站获取内容

Question

我正在尝试从网站获取数据。使用此代码：

@WebServlet(description = "get content from teamforge", urlPatterns = { "/JsoupEx" })
public class JsoupEx extends HttpServlet {
    private static final long serialVersionUID = 1L;
    private static final String URL = "http://www.moving.com/real-estate/city-profile/results.asp?Zip=60505";

    public JsoupEx() {
        super();
    }

    protected void doGet(HttpServletRequest request,
            HttpServletResponse response) throws ServletException, IOException {
        Document doc = Jsoup.connect(URL).get();
        for (Element table : doc.select("table.DataTbl")) {
            for (Element row : table.select("tr")) {
                Elements tds = row.select("td");
                if (tds.size() > 1) {
                    System.out.println(tds.get(0).text() + ":"
                            + tds.get(2).text());
                }
            }
        }
    }
}

我正在使用jsoup解析器。运行时，我没有收到任何错误，只是没有输出。

请帮助解决这个问题。

Answer 1

使用以下代码

public class Tester {
    private static final String URL = "http://www.moving.com/real-estate/city-profile/results.asp?Zip=60505";


    public static void main(String[] args) throws IOException {
        Document doc = Jsoup.connect(URL).get();
        System.out.println(doc);

    }

}

我得到一个 java.net.SocketTimeoutException：读取超时。我认为您尝试抓取的特定 URL 对于 Jsoup 来说太慢了。在欧洲，我的连接可能和你的一样慢。但是，您可能希望在 AS 的日志中检查此异常。

通过将超时设置为 10 秒，我能够下载并解析文档：

Connection connection = Jsoup.connect(URL);
connection.timeout(10000);
Document doc = connection.get();
System.out.println(doc);

使用您的其余代码，我得到：

人口：78,413

自 1990 年以来的人口变化：53.00%

人口密度：6,897

男：41,137

女性：37,278

......

Answer 2

thanx Julien，我尝试使用以下代码，得到 SocketTimeoutException。代码是

Connection connection=Jsoup.connect("http://www.moving.com/real-estate/city-   
profile/results.asp?Zip=60505");
connection.timeout(10000);
Document doc = connection.get();
System.out.println(doc);