3

对于 Node JS 初学者和异步请求，我遇到了似乎是一个传统问题。

我有用户生成的未知数量的 URL，随后存储在我的 Node JS 服务器上的一个数组中。Node JS 服务器必须遍历这些 URL，依次向每个 URL 发出请求。它必须按顺序这样做，并且必须等待每个响应才能移动到下一个 URL（当将发出新请求时）。最终结果应该是所有响应的有序集合（恰好是 JSON），作为 JSON 对象很好地存储在一起，然后可以在准备好时将其发送回客户端。

我想我应该使用asyncNodeJS 库，并且我已经在使用它needle来发出请求。

URLs = ["http://a", "http://s", "http://d"];
async.eachSeries(URLs, function (URL, callback) { ..... });

我不清楚如何使用异步来确保 Needle 请求已经完成，并在移动到下一个 URL 请求之前相应地存储该响应。以下是我的 Needle 请求示例。

 needle.get(URL, options, function(error, response, body){ ... });

欢迎对整个问题提供部分或完整的解决方案。

4

2 回答 2

10

有了承诺，你可以做到这一点：

var Promise = require("bluebird");
var get = Promise.promisify(needle.get, needle);

var URLs = ["http://a", "http://s", "http://d"];
var current = Promise.fulfilled();
Promise.map(URLs, function (URL) {
    current = current.then(function () {
        return get(URL);
    });
    return current;
}).map(function(responseAndBody){
    return JSON.parse(responseAndBody[1]);
}).then(function (results) {
    console.log(results);
}).catch(function (e) {
    console.error(e);
});

作为奖励，当网站具有无效的 json 或以错误消息/空正文响应时，您的服务器不会崩溃。手动编写时，您需要手动尝试捕获，但 Promise 会处理catch(). 由于 url 是由用户提供的，如果您不将手动 try-catch 添加到 non-promise 代码，他们可以轻松地拒绝您的服务器。

于 2013-10-15T19:18:36.033 回答
4

这里有两个例子，一个是一个一个地保存结果async.eachSeries，一个是收集所有结果，async.mapSeries然后一次保存所有结果

URLs = ["http://a", "http://s", "http://d"];
function iterator1(URL, done){
  var options = {};
  needle.get(URL, options, function(error, response, body){ 
    if(error){ return done(error) };
    processAndSaveInDB(body, function(err){
      if(err){ return done(err) };
      done(null);
    });
  });
};

async.eachSeries(URLs
, iterator1
, function (err){
  // global callback for async.eachSeries
  if(err){ 
    console.log(err) 
  } else {
    console.log('All Needle requests successful and saved');
  }
});

// Here is a similar technique using async.map, it may be more suitable
function iterator2(URL, done){
  var options = {};
  needle.get(URL, options, function(error, response, body){ 
    if(error){ return done(error) };
    done(null, body);
  });
};

async.mapSeries(URLs
, iterator2
, function (err, results){
  // global callback for async.mapSeries
  if(err){ 
    console.log(err) 
  } else {
    console.log('All Needle requests successful');
    // results is a 1 to 1 mapping in order of URLs > needle.body
    processAndSaveAllInDB(results, function(err){
      if(err){ return done(err) };
      console.log('All Needle requests saved');
      done(null);
    });
  }
});

我不清楚如何使用异步来确保 Needle 请求已经完成，并在移动到下一个 URL 请求之前相应地存储该响应。

异步函数的series变体负责这一点；您只需确保done在准备好继续之前不要调用迭代器函数的回调。在实践中，这意味着将调用done放在你最里面的回调中（例如你的 Needle 回调）

于 2013-10-15T16:05:16.603 回答