有没有办法可以跳过下载网页,但在执行后仍然有管道的其他部分?
目前,我在 中读取了一个 json 对象文件start_requests
,每个json对象都有一个网站 URL 和其他数据字段。如果网站 URL 不为空,它会产生一个请求对象,否则会跳过它。
在另一个函数parse
中,我创建了项目对象,之后数据库管道就出现了。
即使网站 url 为空,我也想插入其他start_requests
数据字段,在这种情况下不会创建请求对象。
有没有办法可以跳过下载网页,但在执行后仍然有管道的其他部分?
目前,我在 中读取了一个 json 对象文件start_requests
,每个json对象都有一个网站 URL 和其他数据字段。如果网站 URL 不为空,它会产生一个请求对象,否则会跳过它。
在另一个函数parse
中,我创建了项目对象,之后数据库管道就出现了。
即使网站 url 为空,我也想插入其他start_requests
数据字段,在这种情况下不会创建请求对象。