1

我正在尝试使用 nodeJS 构建一个网络爬虫，它在网站的 HTML 中搜索图像，缓存图像源 URL，然后搜索最大尺寸的。

我遇到的问题是deliverLargestImage()在循环图像源 URL 数组以获取它们的文件大小之前触发。我正在尝试同时使用这两者async.series并async.each使其正常工作。

我如何强制deliverLargestImage()等到async.each内部getFileSizes()完成？

JS

var async, request, cheerio, gm;
async = require('async');
request = require('request');
cheerio = require('cheerio');
gm = require('gm').subClass({ imageMagick: true });

function imageScraper () {
  var imgSources, largestImage;
  imgSources = [];
  largestImage = {
    url: '',
    size: 0
  };

  async.series([
    function getImageUrls (callback) {
      request('http://www.example.com/', function (error, response, html) {
        if (!error && response.statusCode === 200) {
          var $ = cheerio.load(html);
          $('img').each(function (i, elem) {
            if ( $(this).attr('src').indexOf('http://') > -1 ) {
              var src = $(this).attr('src');
              imgSources.push(src);
            }
          });
        }
        callback();
      });
    },
    function getFileSizes (callback) {
      async.each(imgSources, function (img, _callback) {
        gm(img).filesize(function (err, value) {
          checkSize(img, value);
          _callback();
        });
      });
      callback();
    },
    function deliverLargestImage (callback) {
      callback();
      return largestImage;
    }
  ]);

  function checkSize (imgUrl, value) {
    var r, raw;
    if (value !== undefined) {
      r = /\d+/;
      raw = value.match(r)[0];
      if (raw >= largestImage.size) {
        largestImage.url = imgUrl;
        largestImage.size = raw;
      }
    }
  }
}

imageScraper();
4

1 回答 1

2

尝试移动callback()这里：

function getFileSizes (callback) {
  async.each(imgSources, function (img, _callback) {
    gm(img).filesize(function (err, value) {
      checkSize(img, value);
      _callback();
    });
  }, function(err){ callback(err); }); /* <-- put here */
  /* callback(); <-- wrong here */
},

each接受回调作为第三个参数，当每个元素的内部循环完成时执行该回调：

论据

  • arr- 要迭代的数组。
  • iterator(item, callback)- 适用于arr. 迭代器传递了一个callback(err)，一旦完成就必须调用它。如果没有发生错误，则callback应该在没有参数或显式null参数的情况下运行。
  • callback(err)- 当所有iterator函数完成或发生错误时调用的回调。
于 2014-04-10T20:43:54.787 回答