我有一个使用 mongoDB 的 node.js 应用程序,我有一个函数用于删除集合中的所有文档,然后用一些示例文档重新填充我的数据库中的集合。
当我编写新功能时,我偶尔会使用它来使用已知数据测试我的应用程序。
我遇到的问题是,如果我在我的所有集合上调用 drop() 然后调用一些插入来重新填充,有时我的记录会少于我期望插入数据库的记录,有时整个集合会丢失。我的计数检查所有说插入的 # 条记录与预期的数量相匹配,但即使它说它已插入,整个集合也可能丢失。
我只能假设,因为它只发生在大约 50% 的时间里,可能以某种方式在 drop() 完成之前插入开始插入,然后 drop() 擦除插入的文档,因为它正在运行异步。
我在所有插入/更新命令上使用 {safe:true} 但 db.collection.drop() 不接受任何参数,似乎没有办法指定安全选项。
所以我试图在 drop() 之后使用 db.getLastError() 来阻止插入,直到 drop 完成。
使用 db.getLastError() 或 db.getlasterror() 会引发错误:TypeError: Object #<Db> has no method 'getlasterror'
对 getLastError 的简化调用:
var mongo = require("mongodb");
var db_conn = new mongo.Db(dbName, new mongo.Server(host, port, { auto_reconnect: true }), {});
db_conn.open(function(err, db) {
if(!err) {
console.log("Database connection: \033[32mopen\033[0m");
} else {
console.log("Database connection: \033[31mfailed\033[0m");
}
});
db_conn.getLastError();
this.db_conn = db_conn;
this.users = db_conn.collection("users");
this.companies = db_conn.collection("companies");
this.suppliers = db_conn.collection("suppliers");
我已经在 mongodb 模块版本 1.1.4 和 1.1.7 上尝试过这个并且只是得到一个错误。
我使用了错误的参考吗?在 JavaScript 的代码示例中,我在 stackoverflow 或 web 上的 getlasterror 上找不到任何东西。
如果有更好的方法可以做到这一点,我会全力以赴。
Node.js 文档:http ://docs.mongodb.org/manual/reference/javascript/#db.getLastError
mongo 文档:http ://www.mongodb.org/display/DOCS/getLastError+Command
---- 2012 年 9 月 22 日更新
使用下面的答案,我能够稍微调试一下根本问题是什么,并且正如我所料。使用 5 个打开连接的默认连接池,drop 会随机触发,然后插入。根据它们发送的顺序以及它们各自进入的池,如果一个 drop 快速完成,然后在该集合的 drop 完成之前快速插入,它将稍后删除插入的记录。
我的解决方法是在 drop() 命令的回调中将所有 drop 包装在一个链接序列中,这样每个 drop 都会在前一个 drop 的回调被触发之后发生,然后在最后调用一个触发所有插入的回调。这很混乱,但我现在已经用 20 条简单插入的基本记录集和 100,000 条记录的负载测试测试了 initializedb 函数大约 25 次。还没有失败。
时间会证明一切,但这个 .lastError() 答案可以解决这个问题。
---- 2012 年 9 月 30 日更新
我想测试一周左右,然后再回复以确保它确实有效。上周,我在包含 26 条记录的基本集和批量插入的 100,000 条记录集上运行了大约 100 次初始化脚本。现在使用我的新代码,我还没有看到它失败过。
我用于删除集合的代码:(我有一个 DatabaseHandler 对象,我将其与原型函数一起用于操作)
DatabaseHandler.prototype.dropAll = function(callback, callbackArg) {
// drop all the documents
var that = this;
var finished = callback || function() { };
var finishedArg = callbackArg;
this.companies.drop(function(err, reply) {
if(reply) {
console.log("[db] Companies collection dropped");
} else {
console.log("\033[31m[Error]\033[0m Companies collection failed to drop");
}
// drop all the user documents
that.users.drop(function(err, reply) {
if(reply) {
console.log("[db] Users collection dropped");
} else {
console.log("\033[31m[Error]\033[0m Users collection failed to drop");
}
// drop all the course documents
that.courses.drop(function(err, reply) {
if(reply) {
console.log("[db] Courses collection dropped");
} else {
console.log("\033[31m[Error]\033[0m Courses collection failed to drop");
}
// drop all the course purchase documents
that.course_purchases.drop(function(err, reply) {
if(reply) {
console.log("[db] Course purchases collection dropped");
} else {
console.log("\033[31m[Error]\033[0m Course purchases collection failed to drop");
}
console.log("Dropped all documents and collections");
return finished(finishedArg);
});
});
});
});
};
然后我有一个初始化函数,它接受一个参数来指定我是否想要额外的负载测试数据初始化(addloadtestdata)。如果我指定 dropdata,它会调用 dropAll 并将初始化函数用于回调。因此,当放置完成时,它会调用初始化回调并仅在完成放置后才开始重新添加文档。我还有一个小计数功能,用于检查完成插入后插入的文档数量,以验证插入的文档数量是否正确且没有遗漏。这可能是我添加的最好的功能,所以每次初始化时,我都可以查看插入的文档的确切数量是否正确,或者我是否丢失了 1 个。
function initialize(doLoadtest){
// do work here
}
// drop all collections and documents
if(dropdata) {
// drop all the data first then call the initialize as a callback function when completed dropping
Database.dropAll(initialize, includeLoadtestData);
} else {
initialize(includeLoadtestData);
}
希望有帮助