node.js - Node.js：使用 aync 函数或基于队列的工作程序运行外部进程任务？

Question

我有以下功能来调整图像大小并上传到 S3（使用“gm”和“knox”）：

var http = require('http');
var https = require('https');
var s3 = require('./s3');
var gm = require('gm');
var fs = require('fs');

module.exports.processImageUrl = function(imageUrl, filename, callback) {
    var client = http;
    if (imageUrl.substr(0, 8) == 'https://') { client = https; }

    client.get(imageUrl, function(res) {
        if (res.statusCode != 200) {
            return callback(new Error('HTTP Response code ' + res.statusCode));
        }

        gm(res)
            .geometry(1024, 768, '>')
            .stream('jpg', function(err, stdout, stderr) {
                if (!err) {
                    var file = fs.createWriteStream(__dirname + '/../tmp/' + filename + '.jpg');

                    stdout.pipe(file);

                    stdout.on('end', function() {
                        fs.stat(__dirname + '/../tmp/' + filename +'.jpg', function(err, stats) {
                            if (!err) {
                                var headers = {
                                    'Content-Length': stats.size
                                    ,     'Content-Type': 'Image/jpeg'
                                    , 'x-amz-acl': 'public-read'
                                };

                                var file = fs.createReadStream(__dirname + '/../tmp/' + filename + '.jpg');

                                s3.putStream(file, '/img/d/' + filename + '.jpg', headers, function(err, res) {
                                    if(err) {
                                        return callback(err);
                                    } else {
                                        fs.unlink(__dirname + '/../tmp/' + filename + '.jpg');
                                        return callback(null, res.client._httpMessage.url);
                                    }
                                });
                            }
                        });
                    });
                } else {
                    callback(err);
                }
            });
    }).on('error', function(err) {
            callback(err);
        });
};

如果我处理许多并发请求，可能会产生许多 GraphicsMagick 进程，实现基于队列的工作人员来处理图像并产生受控数量的进程是更好的做法吗？

Answer 1

在队列中管理这个绝对更好。您不希望最终用户由于请求数量而使您的服务停止，并且当您不排队高 CPU 操作时，DOS 攻击变得微不足道。我什至会考虑将 GraphicsMagick 代码放到不同的服务器/服务器上，这样您就可以独立于 http 代码轻松扩展它们。