我在通过请求 python 模块加载页面内容时遇到了一些问题 - 这是代码:
url ="http://www.bestbuy.com/site/macbooks/macbook-air/pcmcat378600050008.c?id=pcmcat378600050008"
headers = {
"User-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36"}
response = requests.get(url, headers=headers
page_source = response.content
print page_source
print len(page_source)
此代码以 (10) 间隔在计时器函数中执行 - time.sleep(10)
但问题是 - 有时它会加载整个页面,长度约为 408000 个字符,有时是 176000 个字符,每次我有这些数字!我怎么能理解是什么问题或它是一个错误?或者服务器改变网页内容?然后我尝试将间隔增加20,但问题仍然存在!urllib2 模块也发生了同样的问题!