1

我在使用 Mongoskin 在 Node.js 上执行批量插入（MongoDB 2.6+）时遇到问题。

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
var bulk = db.collection('collection').initializeUnorderedBulkOp();

for (var i = 0; i < 200000; i++) {
    bulk.insert({number: i}, function() {
        console.log('bulk inserting: ', i);
    });
}

bulk.execute(function(err, result) {
    res.json('send response statement');
});

上面的代码给出了以下警告/错误：

(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'
(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'

是否可以使用 Mongoskin 执行无序批量操作？如果是这样，我做错了什么？

4

1 回答 1

2

您可以这样做，但您需要更改调用约定来执行此操作，因为只有“回调”表单实际上会返回一个.initializeUnorderedBulkOp()可以调用该方法的集合对象。您认为它的工作方式也存在一些用法差异：

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
db.collection('collection',function(err,collection) {
    var bulk = collection.initializeUnorderedBulkOp();
    count = 0;

    for (var i = 0; i < 200000; i++) {
        bulk.insert({number: i});
        count++;

        if ( count % 1000 == 0 )
            bulk.execute(function(err,result) {
               // maybe do something with results
               bulk = collection.initializeUnorderedBulkOp(); // reset after execute
            });      

    });

    // If your loop was not a round divisor of 1000
    if ( count % 1000 != 0 )
        bulk.execute(function(err,result) {
          // maybe do something here
        });
});

因此，实际的“批量”方法本身不需要回调并且完全按照文档中所示的方式工作。该异常.execute()实际上是将语句发送到服务器。

虽然驱动程序会在某种程度上为您解决这个问题，但在调用 execute 之前排队太多操作可能不是一个好主意。这基本上是在内存中建立的，虽然驱动程序一次只能发送 1000 个批次（这是服务器限制，并且整个批次都在 16MB 以下），但您可能需要在这里进行更多控制，至少限制内存使用。

这就是所示的模测试的重点，但如果用于构建操作的内存和可能非常大的响应对象对您来说不是问题，那么您可以继续排队操作并调用.execute()一次。

“响应”的格式与BulkWriteResult文档中给出的格式相同。

于 2014-09-03T05:35:28.427 回答