0

我在 Nodejs 中编写了一个脚本,用于截取网站的屏幕截图(使用slimerJs),这个脚本大约需要 10-20 秒才能完成,这里的问题是服务器在这个脚本完成之前停止。

app.get('/screenshot', function (req, res, next) {
  var url = req.query.url;
  assert(url, "query param 'url' needed");
  // actual saving happens here
  var fileName = URL.parse(url).hostname + '_' + Date.now() + '.png';
  var command = 'xvfb-run -a -n 5 node slimerScript.js '+ url + ' '+ fileName;
  exec(command, function (err, stdout, stderror) {
    if(err){ return next(err); }
    if(stderror && (stderror.indexOf('error')!= -1) ){ return next(new Error('Error occurred!')); }
    return res.send({
      status: true,
      data: {
        fileName: fileName,
        url: "http://"+path.join(req.headers.host,'screenshots', fileName)
      }
    });
  })
});

由于该脚本会在内存中生成一个 firefox 浏览器并加载网站,因此 ram 使用量可能会飙升至 600-700mb,因此我无法异步执行此命令,因为 ram 在服务器上很昂贵。

我可以知道是否可以对传入的请求进行排队并以 FIFO 方式执行它们?

我尝试检查 kue、bull 和 bee-queues 等软件包,但我认为这些都假设工作列表在队列开始之前就已经知道,因为我的工作列表取决于使用该网站的用户,我还想告诉人们他们在排队,需要等待轮到他们。上述软件包可以做到这一点吗?

4

1 回答 1

0

如果我正在做类似的事情,我会尝试这些步骤。

1.一个数组(队列)来存储请求的信息,当任何请求到来时,将这些信息存储在数组中,并向用户发送一条消息,告诉他们他们在队列中,或者如果已经有,则服务器忙请求太多。

2.做屏幕截图工作,异步,但不是同时进行。如果在新请求到来时发现队列为空,则可以开始该作业,并在完成最后一个请求时递归地开始另一个作业。

function doSceenShot(){
  if(a.length > 1){
    execTheJob((a[0])=>{
      //after finishing the job;
      doScreenShot()
    })
  }
}

3.通过投票或其他方式通知用户您已完成工作。

于 2017-01-02T16:28:19.730 回答