0

我正在使用 Django 开发书签应用程序,并希望从使用 javascript 生成标题的网页中提取标题。我查看了 windmill 并安装/运行了 selenium,这很有效,但我相信这些工具不仅仅是我获得网页标题所需的工具。我目前正在尝试使用 spynner,但在页面完全呈现后未能成功检索内容。这是我目前拥有的代码...

from spynner import Browser
from pyquery import PyQuery
browser = Browser()
browser.set_html_parser(PyQuery)
browser.load("https://www.coursera.org/course/techcity")  

在 python shell 中执行最后一行时,我收到 SpynnerTimeout: Timeout reached: 10 seconds 错误。如果我再次执行最后一条语句,它将返回 True,但只返回运行 javascript 之前的页面,它没有“正确”的页面标题。我还尝试了以下方法:

browser.load("https://www.coursera.org/course/techcity", wait_callback=wait_load(10))
browser.soup("title")[0].text

但这也会返回不正确的标题 - “Coursera.org”(即运行 javascript 之前的标题)。

以下是我的问题:

  1. 是否有更有效的推荐方法来提取使用 javascript 动态生成的网页标题,该方法使用其他一些 python 工具/库?如果是这样,推荐的方法是什么?- 任何示例代码表示赞赏。
  2. 如果使用 spynner 是一个好方法,那么在页面加载后我应该怎么做才能获取标题,或者更好的是,在 javascript 呈现标题之后。我现在拥有的代码正是我从一篇博客文章中拼凑而成的,并在 github 上查看了 spynner 的源代码。
4

0 回答 0