python - Python cookielib 和 urllib2 最大连接数？

Question

我制作了一个 URL 扫描器，它依赖于 cookielib 和 urllib2 来扫描网页。我注意到，每当我达到 100 个连接时，程序就会停止而没有错误。我假设错误是因为我已经达到了 100 个连接。我在不同的域上尝试了多次，最终程序将停止调查链接，并在达到 100 个传出连接时停止。你如何解决这个错误？

我的设置代码如下：

domain = "http://dotwhat.net"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
html = opener.open(domain).read()
soup = BeautifulSoup(html)

我在代码的第 4 行循环打开一个新连接。