0

我正在尝试从（此处的网站）网络刮取特定数据，以生成该计算机游戏的其他统计数据列表，以满足我的个人兴趣。但是，每当我尝试抓取数据时，都会出现以下错误：

HTTP 错误 429：受限

我研究了这个错误，它说：“用户在给定的时间内发送了太多请求。旨在与速率限制方案一起使用。” 结果，我无法打开该网站上的任何页面。

这是我当前的代码：

import urllib.request
import urllib.parse

try:
    url = urllib.request.urlopen('website here')
    headers = {}
    headers['User-Agent'] = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17'
    req = urllib.request.Request(url, headers=headers)
    resp = urllib.requests.urlopen(req)
    respData = resp.read()
    print (respData)

except Exception as e:
    print(str(e))

更改“用户代理”不成功。由于错误涉及大量请求，我是否可以在脚本中的某处添加延迟？我在想我可以在我的电脑上写一个文件，随着时间的推移不断添加页面的块。有任何想法吗？

而且我对 Python/scraping 有点陌生，所以尽量保持简单:) 谢谢！

-2.0

注意：我有 Python 3.4 和 2.7

4

0 回答 0