1

我正在编写一个 node.js 应用程序，它需要从提供者的页面列表中获取一些数据：

var list = [
  { url: 'http://www.example.com/1' },
  { url: 'http://www.example.com/2' },
  ...
  { url: 'http://www.example.com/N' },
];

目前我正在使用async.each，效果很好：

async.each(
  list, // 1st param is the array of items
  function(elem, callback) { // 2nd param is the function that each item is passed to
    request(elem.url, function (error, response, body) {
      if (!error && response.statusCode == 200) {
        console.log(body);
      }
    }),
  },
  function(err) { // 3rd param is the function to call when everything's done
    if (err) {
      console.error('Error in the final async callback:', err);
    }
  }
);

唯一的问题是站点的服务器有时（可以理解）响应403（禁止）状态代码，因为在时间单位内来自同一 IP 的请求过多......

我看到也async提供了一种whilst()方法，其示例是：

var count = 0;
async.whilst(
  function () { return count < 5; },
  function (callback) {
    count++;
    setTimeout(callback, 1000);
  },
  function (err) {
    // 5 seconds have passed
  }
);

但是我看不到如何将它与列表一起使用，或者如何将它与async.each...结合使用 :-(

所以答案是：如何限制（限制）node.js 中的异步请求列表？

PS：为了更清楚，我不希望（如果可能）将请求排队，因为请求可能需要很长时间才能完成......：我只想在定义的时间间隔（比如 5 〜每个请求之间的10秒......）。

更新：

在 alireza david 发表评论后，我确实尝试使用 async.eachLimit，这对我来说看起来很有希望......这是它的用法示例，在模块 github站点上：

async.eachLimit(
    obj.files,
    limit
    function (file, complete) {
      complete();
    },
    function (err) {
    }
);

但是限制使用没有记录，我也不清楚......如果有人有任何线索......

4

1 回答 1

1

大多数时候 403 意味着你应该限制你的请求，因为 web 服务器认为你在​​做 DDOS 攻击。

在这种情况下，你应该async.eachLimit() 

async.eachLimit(obj.files, 1000,
    function (file, complete) {
      complete();
    },
    function (err) {

    });

更新 我想明白了，limit选项是并发请求的数量。你应该减少这个数字（我的意见是 2 或 3 只是为了测试）

于 2015-09-25T16:34:12.033 回答