3

我正在使用 python 3.7 开发一个网络抓取应用程序。我正在使用 requests-html 来解析数据。到目前为止,我已经尝试了以下代码来尝试使用渲染功能(因为 fast.com 上的速度数据是通过 javascript 加载的)。

from requests_html import HTMLSession
quote_page = 'https://fast.com'
session = HTMLSession()
r = session.get(quote_page)
r.html.render()
extract_value = r.html.find('#speed-value', first=True)
print(extract_value.text)

speed-value是包含速度数据的 div 使用的 id 属性。

但它仍然将速度值打印为 0。

4

1 回答 1

9

速度测试需要几秒钟,初始渲染后需要等待几秒钟,所以指定一个睡眠参数来渲染函数,这意味着初始渲染后要休眠多长时间。

例如:修改r.html.render()r.html.render(sleep=10)

在我的电脑上测试,我得到了一个速度数。

于 2020-03-15T08:22:03.150 回答