我正在研究一个项目,即 Google Scholar 的论文分析。我所做的基本上是解析 HTML,将相关字段存储到数据库中等。但是,我被困在一个点上,当我获取出版物的标题时,我意识到,我能够获得前 20 个元素。但是,相关帐户中有六十篇论文:
http://scholar.google.com/citations?user=B7vSqZsAAAAJ
所以,我认为作为一种解决方案,我需要以编程方式单击“显示更多”按钮,这样我就可以拥有所有的标题、出版地点等。
你怎么看?我怎样才能执行这种操作?
编辑:我检查了“显示更多”按钮,虽然没有什么可以显示为下一页,但它的 html 代码仍然保持不变。作为一种解决方案,我可以使用循环 n 次。但是,我正在寻找更强大的解决方案。感谢您的时间!