我在一个网络爬虫应用程序中使用kue 。attempts
如果错误符合特定条件,我想为某些失败的作业进行设置。例如,如果错误是由套接字挂起引起的,则作业将以 1 分钟的间隔重试 3 次。
我的代码如下所示,但不起作用
var kue = require('kue');
var queue = kue.createQueue();
queue.process('grab', function (job, done){
//doCrawlingJob is async call and returns promise
doCrawlingJob(job).then(function(result){
done();
}.catch(function(err){
if (err.message.indexOf("socket hang up") >= 0) {
job.attempts(3).backoff({delay:60*1000});
job.save(function(){
done(err);
});
} else {
done(err);
}
);
});
//...
var job = queue.create('grab', data).removeOnComplete(true).save();