python - Python 3.2：Battle.net scraper 在某些 URL 上给出 404

Question

我正在用python编写一个战网屏幕刮板，我想刮掉这个页面。

问题是，当我尝试使用我的脚本下载它时，我得到了 404。但是，在 Web 浏览器中查看它就可以了。

如果有帮助，这是我正在使用的代码（需要请求）：

def download(url, max_retries=10):
    for i in range(max_retries):
        print('Downloading: ' + url)
        r = requests.get(url)

        print('Status code: ' + str(r.status_code))

        if r.status_code == requests.codes.ok: return r.content
    return None

download('http://us.battle.net/sc2/en/game/unit')

感谢您的任何回答。

Answer 1

试试这个。显然，结尾的斜线是必要的。

def download(url, max_retries=10):
    for i in range(max_retries):
        print('Downloading: ' + url)
        r = requests.get(url)

        print('Status code: ' + str(r.status_code))

        if r.status_code == requests.codes.ok: return r.content
    return None

download('http://us.battle.net/sc2/en/game/unit/')