我正在为特定网页编写网络抓取工具,我正在使用“urllib2.Request(MyURL)”和“BeautifulSoup”来执行此操作,但问题是 MyURL 中的页面上有一个分页并且下一页加载(在同一个 myURL /page)通过点击一个链接,这个链接后面是javascript方法写成
{ javascript:__doPostBack('rptPagingBottom$ctl01$btnPage','') }.
现在如果不从 Python 执行这个 Javascript 函数,我就无法获得完整的页面列表。如何从 Python 调用这个 Javascript 方法,以便获取该网页的所有页面?
我在这里发现了一个相关的问题,建议使用(Rhino,V8,SeaMonkey),但我根本没有得到这个。如果可能的话,我需要一些示例代码。