python - 如何在 Python 中使用 selenium 复制所有网站？

Question

我使用了webdriver，因为我需要在认证后复制网站。

from selenium import webdriver
import myconnutils
import re
from time import sleep

connection = myconnutils.getConnection()

#use Chrome
driver = webdriver.Chrome("/Users/User/Documents/sender/chromedriver")

#enter to site
driver.get("https://example.com/en/account")
driver.find_element_by_id("user").send_keys("userlogin")
driver.find_element_by_id("password").send_keys("passwordinput")
driver.find_element_by_id("submit").click()

接下来是什么？如何用css、js、图像复制所有页面？

Answer 1

最终尝试将 Selenium 与BeautifulSoup一起使用。您应该能够像这样获得源代码：

example_soup = BeautifulSoup(driver.page_source, 'html.parser')

最终这篇博文也有帮助。