python - 如何将网页保存到磁盘以便以后使用 splinter 库进行抓取？

Question

我有以下 python 代码使用 splinter 库在网站中搜索特定术语：

from splinter import Browser
browser = Browser()

browser.visit("http://decs.bvs.br/cgi-bin/wxis1660.exe/decsserver/?IsisScript=../cgi-bin/decsserver/decsserver.xis&interface_language=p&previous_page=homepage&previous_task=NULL&task=start")
browser.choose('search_language','p')
browser.fill('search_exp','costas')
element = browser.find_by_name("consult_button")
element.click()

它可以工作，firefox 页面会打开带有结果的页面。但是，我还没有找到将这些结果作为 html 文件保存到磁盘的方法，以便从它们中获取术语。如何使用 splinter 将网页保存到磁盘？

提前致谢

Answer 1

您可以打开一个文件进行写入和写入browser.html：

with open('output.html', 'w') as f:
    f.write(browser.html.encode('utf-8'))

---

请注意，我看不出您需要保存 html 以进行后期抓取的正当理由。splinter(as is selenium) 在定位元素方面非常强大。该库不仅用于程序化网络浏览，还可以导航、搜索、提取等。请参阅查找元素。