0

这是我当前的代码:

html = urllib.request.urlopen(url)
soup = BeautifulSoup(html)
title = soup.find('title')[7:(title.len()-7)]
return title

问题是,如果我用这个查询像 Wikipedia 这样的网站,它会以 403 崩溃。我该怎么办?(使用python3)

4

2 回答 2

4

维基百科不希望你抓取他们的网站。他们拒绝为你服务,因为他们相信你在刮,他们是对的。

于 2012-06-18T20:47:35.710 回答
0

Wikipedia 有一个 API,您可以使用它来抓取他们的内容(Wikipedia API ),或者您可以根据您实际想要提取的内容下载他们的数据。

于 2013-10-07T08:12:56.540 回答