我正在构建一个 java webcrawler,我需要从我请求的 Google 搜索中捕获“下一页”链接。为此,我试图实现一种模式或方法,但直到现在我找不到任何关于此的线索。
看看这张照片:
您可以测试自己,“下一页”对于您传递鼠标的每个数字都是相同的链接。链接上唯一会改变的是链接"Start=(number)"
末尾的部分。对于搜索的每一页,它在开始时加上 10,因为这是每页的链接结果数。
但是,奇怪的是,当您请求浏览器显示其代码时,此“默认”链接不会出现在页面的源代码中。也许这与谷歌索引过程有关,但我不确定,因为我还不是专家程序员,特别是在 Web 编程方面。
那么,任何人都知道我应该如何解决这个问题?