javascript - 如何在爬虫中同步获取和保存

Question

这是在Crawler上运行的网络爬虫的快捷代码，它运行良好。问题是爬虫在半秒内返回 20 个字符串，并且它们在 MySQL 中的存储速度比新来的慢得多。如何正确同步这两个过程。

function crawler(done) {
  for (i=0, ...) { 
    crawler.queue([{
      "uri": link,
      "callback": function (error, result, $) {
        var arr = $('.someclass');
        done(arr);  
      }
   }])
 };
};

crawler (function (arr) {
  savetosql(s, arr);
});

function savetosql (s, arr) {
  var query = connection.query('UPDATE ...');
};

Answer 1

不确定这是否是您要查找的内容，我从未使用过爬虫，但这是您在 node.js 中序列化内容的方式。

function crawl_step(step,limit) {
  //for (i=0, ...) { no more for
    crawler.queue([{
      "uri": link,
      "callback": function (error, result, $) {
        var arr = $('.someclass');
        //done(arr);
        var query = connection.query('UPDATE ...',calbback(...){
            //this runs when the sql query is over
            if(step<limit) crawl_step(step+1,limit);
            else {....do something when all crawls are over ...}
        });
      }
   }])
 //};
};

crawl_step(0,100);

为了更容易理解序列化过程，让我们研究一些基本的 api：我们只想读取 100 个存在的文件（并且我们使用异步调用，但以同步方式）。

function step(step_nr){
    fs.exists( step_nr+'.txt' , function (exists) {
        fs.readFile( step_nr+'.txt' , function (err, data) {
           if (err) throw err;
           console.log(data);
           if(step_nr<100) step(step_nr+1);
        });
    });
}
step(0);