我正在尝试用 python 编写一个快速爬虫，但我不想用线程来做。我读了一些文章，说 Scrapy 是单线程的，可以在响应返回之前发出请求。我想知道是否有任何示例代码可以对 urllib 或 urllib2 执行相同操作并在响应返回之前发出新请求。
提前致谢。
问问题
161 次
1 回答
1
Scrapy 很好，但如果您正在寻找替代品，请查看Eventlet。它基于greenthreads（又名协程）。他们甚至有一个简单的网络爬虫示例 - http://eventlet.net/#web-crawler-example
于 2012-05-05T21:03:33.497 回答