google-chrome - Selenium 运行 chrome 的行为与真正的 Chrome 不同

Question

我正在使用 Selenium 呈现网页，然后进行内容提取。但是，我发现 selenium 返回的内容与我使用 Chrome DevTools 得到的不同。

我使用的python代码很简单：

driver = webdriver.Chrome() #.PhantomJS()

driver.get(url)
content = driver.page_source.encode('utf-8')

基本上，我发现我正在查看的字段大部分时间都不会从 Selenium 结果中显示出来。它有时确实有效，但在大多数情况下，它只是无法呈现真正的 Chrome 浏览器所做的事情。我正在使用 Macbook Pro。谢谢~

score 1 · Accepted Answer

page_sourceView Page Source如果您右键单击并点击原始文档，则只会为您提供您将获得的内容。通过 javascript 等动态加载的任何内容都不会包含在内。如果你想把它全部放在硒中，你可以这样做：

driver.find_element_by_css_selector('body').get_attribute('outerHTML')

1 回答 1