2

我正在使用最新版本的 express、mongodb、nodejs 等。我没有使用正文解析中间件,因为我不想在上传文件时将文件存储在磁盘上。我只想将它们直接流式传输到 GridF 中。我正在使用 gridfs-stream npm 模块。我知道 ExpressJs 在下面使用了强大的功能。请记住 - 我不希望文件进入磁盘。

这是我的路由处理程序,我只发布了一个多部分表单 - 该表单仅包含一个文件以及 1-3 个可选字段。

为什么哦为什么要 form.on('part',function(part)) - 为文件的同一部分多次调用超过 100kb 而对于较小的文件 - 我们只接到一个电话?

我真正想做的实际上是将文件从上传直接流式传输到 GridFs,并将同一帖子中的任何表单帖子字段附加到 GridFs 元数据。

mymodule.prototype.save = function(req,res,next) {


if(req._body) {
    //return next();
}else if(contentType(req) !== 'multipart/form-data') {
    return next();
}

var gfs = Grid(req.ctx.app.database.connection.db, mongo); 

req.body  || (req.body = {});
req.files || (req.files = {});

var form = req.form,
    body      = req.body,
    files     = req.files,
    cb_called = false;

var parts = {};
var info = '';

var fileId = mongoose.Types.ObjectId();
var gfs_ws;

form.on('part', function(part) {
    if (part.filename) { ///// THIS IS CALLED MORE THAN ONCE for each part.filename???? on large files -- but why???
        sendPart(part);
    }
});

form.on('field', function(name, value) {
    if ( Array.isArray(body[name]) ) {
        body[name].push(value);
    }else if (body[name]) {
        body[name] = [body[name], value];
    }else{
        body[name] = value;
    }
});

form.on('error', function(err) {
    if (err && err.length > 1){
        res.statusCode = 200;
        res.send({success: false, err: err});
    }
});

form.on('close', function() {
    try {
        //req.body = qs.parse(body); // if additional fields sent - for now we ignore them
    }
    catch (err) {
        return next(err);
    }
    res.send({ success: true }); //, id: fileId.toString() });
});

form.parse(req);

function contentType(req) {
    return req.headers['content-type'] && req.headers['content-type'].split(';')[0];
}

function sendPart(part) {

    if (!gfs_ws) { // THIS IS MY ATTEMPT TO STREAM ALL PARTS OF THE SAME FILE TO THE SAME GRIDFS RECORD - but really we should only ever have called sendPart(part) once for each file
        var options = {
            _id: fileId, // a MongoDb ObjectId
            filename: part.filename, // a filename
            mode: 'w', // default value: w+, possible options: w, w+ or r, see [GridStore](http://mongodb.github.com/node-mongodb-native/api-generated/gridstore.html)

            //any other options from the GridStore may be passed too, e.g.:
            //chunkSize: 1024, 
            content_type: part.headers['content-type'], //file.type , // For content_type to work properly, set "mode"-option to "w" too!
            //root: 'my_collection',
            metadata: {
                    recordId: req.params.recordid,
                    elementId: req.params.elementid
                }
        };
        gfs_ws = gfs.createWriteStream(options);
    }

    part.pipe(gfs_ws);

}

}

当我发布小文件(即 <100kb)时 form.on('part' ... 每个文件部分只调用一次 - 每个字段部分只调用一次。我在帖子中只有文件 - 所以 sendPart(part)只被调用一个,文件被放入 GridFs 和快乐的日子。

但是 - 对于较大的文件,即 > 100kb - form.on('part' - 为同一个文件多次调用 - 即 part.filename 是

4

1 回答 1

0

您可能不希望像执行此操作那样设置正文解析器。您实际上希望直接使用该pipe界面。

有两件事,首先配置 express 以禁用mutipart正文解析器中的功能。在这篇文章中描述:

如何为文件上传禁用 Express BodyParser (Node.js)

其次,使用管道将其作为另一个组件传递到gridfs-stream。这篇文章给出了一个示例用法:

在 GridFS、express、mongoDB、node.js 中存储来自 POST 请求的数据流

于 2014-02-23T23:24:49.110 回答