0

以下代码尝试从 csv 文件加载到在 localhost 上运行的 mongodb 实例。

问题- 它在每次运行时加载不同数量的文档（总是少于 csv 中的记录总数）。

var csv = require('csv');

var server = new Server('localhost', 27017, {auto_reconnect: true, poolSize: 1});
var db = new Db('test', server);

db.open(function(err, db, onemore) {
  if(!err) {
    //Database connection is established.
    db.collection('teststocks', function(err, collection) {
      if(!err) {
        // Stocks collection is connected, open the file and insert the doc
        console.log("Trying to load from " + process.argv[2]);
        csv()
          .fromPath(process.argv[2], {
            columns: true
          })
          .on('data', function(data, index) {
            //data.stock = process.argv[2].substring(process.argv[2].lastIndexOf('/') + 1, process.argv[2].lastIndexOf('.'));
            collection.insert(data, {safe: true}, function(error, collection){
                    if ( error ) { console.log("Error inserting record : " + error); }
            });
            console.log("Inserted data for " + index);
          })
          .on('error', function(error) {
            db.close();
            console.log("Error: " + error);
          })
          .on('end', function(count) {
            console.log("Finished all writing.");
            db.close();
          });
      }
  });
  }
});

PS：我可以使用 mongoimport 实用程序加载数据，但我是 node.js 和 mongodb 的新手；我想了解我在上面的代码中犯的错误。

4

1 回答 1

2

这可能是因为您在csv()完成阅读后关闭了数据库连接。但是，与collection.insert异步一样，不能保证每次调用都在csv完成并被db.close()调用之前完成。

一种选择是将 收集csv data到 中Array，然后insert一次收集所有这些：

var docs = [];

csv()
  // ...
  .on('data', function (data, index) {
    docs.push(data); // or possibly: docs[index] = data;
  })
  // ...
  .on('end', function () {
    console.log("Finished reading CSV.");    

    collection.insert(docs, { safe: true }, function (error, inserted) {
      console.log("Finished all writing.");
      db.close();
    });
  });
于 2012-09-24T18:01:09.897 回答