这是我当前的代码:
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html)
title = soup.find('title')[7:(title.len()-7)]
return title
问题是,如果我用这个查询像 Wikipedia 这样的网站,它会以 403 崩溃。我该怎么办?(使用python3)
这是我当前的代码:
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html)
title = soup.find('title')[7:(title.len()-7)]
return title
问题是,如果我用这个查询像 Wikipedia 这样的网站,它会以 403 崩溃。我该怎么办?(使用python3)
维基百科不希望你抓取他们的网站。他们拒绝为你服务,因为他们相信你在刮,他们是对的。
Wikipedia 有一个 API,您可以使用它来抓取他们的内容(Wikipedia API ),或者您可以根据您实际想要提取的内容下载他们的数据。