我正在尝试创建一个爬虫来爬取网站上的前 100 个页面:
我的代码是这样的:
def extractproducts(pagenumber):
contenturl = "http://websiteurl/page/" + str(pagenumber)
content = BeautifulSoup(urllib2.urlopen(contenturl).read())
print pagehtml
pagenumberlist = range(1, 101)
for pagenumber in pagenumberlist:
extractproducts(pagenumber)
在这种情况下,我该如何使用线程模块,以便 urllib 使用多线程一次抓取 X 个 URL?
/新出