这是我的情况:我想抓取不同的页面使用不同的下载器:因为我们可以使用不同的 url-libs 来加载不同的网页,例如 urllib2/httplib。所以我想在下载器中间件文件中再创建两个下载函数。
def downloader1():
use urllib2 to open url-type1
def downloader2():
use scrapy default downloader to open url-type2
我只是想是否有像下面这样的 url 解析规则的方法?对于不同的url,我们可以回调不同的downloader1或downloader2来下载页面。
另一个问题,我可以在同一个项目中为不同的蜘蛛使用不同的下载器吗?