我想尽可能快地搜索谷歌。谷歌在浏览器中的加载是渐进式的,其中加载结果分为Waiting(TTFB)
和Content Downlaod
。
我python requests
用来刮谷歌。的时机requests
只有Waiting(TTFB)
一点点Content Download
。
代码如下:
google_url = 'https://www.google.com/search?q={}&num={}&start={}'.\
format(escaped_search_term, size, offset)
response = self.session.get(google_url, verify=False,
headers={'User-Agent': self.USER_AGENT})
return response.text
我想尽可能快地加载结果,所以我必须像浏览器一样逐步下载谷歌结果。我怎样才能做到这一点?