java - 从需要密码的网站获取数据

Question

我正在考虑制作一个从网站获取数据的应用程序。但是这个网站只能在输入用户名和密码后才能进入。例如，如果您访问 Example.com，浏览器会提示您“example.com 正在请求用户名和密码”，并允许您输入用户名和密码。我将如何在应用程序中处理这个问题？我打算在登录后使用 jsoup 来收集数据。谢谢。

Answer 1

这在一定程度上取决于如何实现登录。如果它是一个 HTTP POST 请求，您通常可以在 JSoup 中这样做Connection.Response response = Jsoup.connect(url).data("username", "user", "password", "pwd").method(Method.POST).execute()：“用户名”和“密码”是 POST 参数的名称，通常与 HTML 表单字段相对应。这是一种可行的方法，尽管很简单。有时（通常）页面使用额外的安全措施，如验证码或使用 Javascript 来加密密码。然后你需要模拟它。但这取决于具体的站点实施。

如果他的站点使用基本 HTTP 身份验证（您对弹出窗口的描述听起来有点像），您可以在这里找到解决方案：Jsoup connection with basic access authentication。

Answer 2

您可以查看 java.net 包或使用 HTTPUnit。它将帮助您通过 HTTP 之类的方法与 WebServer 进行通信。