python - 使用 Python 3 和 BeautifulSoup 4 转到下一页

Question

我正在尝试使用 Python 3 和 BeautifulSoup 4 从网站多个页面上的表中解析数据。除了某些页面的表超过页面长度外，一切都运行良好。该页面仅显示 20 个条目，要获取其他条目，需要单击表格底部的 Next 以移动到表格数据继续的下一页。我尝试使用

nextPage = re.compile(b'Next</a>')

和

nextPageUrl = nextPage.findall(webContent)

我知道这不是 BeautifulSoup。我尝试了这个，因为我不知道如何使用 BeutifulSoup 来做到这一点。但是，它不起作用。有人可以帮助我并建议我如何获得下一页网址以继续抓取吗？感谢您提供的任何建议。

score 0 · Accepted Answer

soup = BeautifulSoup(webContent)
a = soup.find('a', href=True, text=re.compile("Next"))
if a:
    link = a["href"]

1 回答 1