java - 如何使用 HttpURLConnection 与网站交互？

Question

故事是这样的：有一个带有一些表单字段的网站。填写字段后，用户可以单击搜索。通过单击搜索按钮，将返回链接列表并显示在表单下方。如果链接数量超过 10 个，用户可以点击下一步，这是一个javascript 按钮。

我的一个java程序的一部分使用HttpUrlConnection连接到这个网站，并通过建立的连接发送表单数据。检索前 10 个链接不成问题；我的意思是与网站的连接、发送字段数据和获取前 10 个链接根本不是问题。我的问题是如何获得接下来的 10 个链接。

感谢您的帮助。

Answer 1

看看HtmlUnit。该框架的行为类似于浏览器，允许您以编程方式随意在页面之间导航。它也执行嵌入在页面中的 Javascript。