web-scraping - 如何打开浏览器并连接到网站，然后在 java 中使用 jsoup 解析该网站？

Question

我有一个需要一点网络抓取的项目。主要要求是让用户在 java 应用程序中输入他的数据。然后应用程序将连接到数据输入网站，然后它会自动将用户输入的数据输入到该网站。我还没有开始编写代码，因为我不知道从哪里开始。我已经对此进行了一些研究，它指向了 jsoup 和桌面 api（用于网页抓取的 jsoup 和用于打开浏览器的桌面 api）。希望能在这里收到Java专家的回复。

谢谢！

Answer 1

JSoup 肯定会为您进行抓取。但是，您需要处理 HTTP（GET/POST 等），为此我推荐Apache Http Components。

我不确定您是否要打开浏览器。相反，我希望您询问用户输入（可能通过 Swing UI 或基于浏览器的 UI），然后使用 HTTP 直接与网站对话。我认为您无需打开浏览器即可访问目标网站。如果您这样做，请查看Watij，它允许您直接从 Java 驱动浏览器。