17

我有一个适度的 Node.js 脚本，它通过 API 从 Wikipedia 中提取数据并将其存储在 SQLite 数据库中。我正在使用这个node-sqlite3模块。

在某些情况下，我会提取超过 600,000 篇文章的数据，并将关于每篇文章的一些元数据连续存储在数据库中。文章从 API 中以 500 篇为一组进行检索。

使用 500 篇文章的数据检索 JSON 对象的请求将对象传递给此回调：

// (db already instantiated as 'new sqlite.Database("wikipedia.sqlite");')

function callback(articles) {
    articles.forEach(function (article) {
        db.run(
            "INSERT OR IGNORE INTO articles (name, id, created) VALUES (?,?,?)", 
            [
                article["title"], 
                article["pageid"], 
                article["timestamp"]
            ]
        );
    });
}

这些模块默认并行运行，但 node-sqlite3 的文档包含一个串行操作示例，如下所示：

db.serialize(function () {
    db.run("CREATE TABLE lorem (info TEXT)");

    var stmt = db.prepare("INSERT INTO lorem VALUES (?)");
    for (var i = 0; i < 10; i++) {
        stmt.run("Ipsum " + i);
    }
    stmt.finalize();
}

我试图模仿这一点，几乎没有看到性能差异。我做错了吗？现在，从 API 中检索数据的速度比写入数据库的速度快得多，尽管速度还不算慢。但是用 600K 个单独的INSERT命令来处理数据库感觉很笨拙。

更新：根据接受的答案，这似乎适用于 node-sqlite3，而不是原生解决方案。（见本期）。

db.run("BEGIN TRANSACTION");
function callback(articles) {
    articles.forEach(function (article) {
        db.run(
            "INSERT OR IGNORE INTO articles (name, id, created) VALUES (?,?,?)",
            [
                article["title"],
                article["pageid"],
                article["timestamp"]
            ]
        );
    });
}
db.run("END");
4

1 回答 1

25

当您对 SQLite 数据库进行多次插入时，您需要将插入集合包装到事务中。否则，SQLite 将等待磁盘盘片在每次插入时完全旋转，同时对您插入的每条记录进行读写验证。

在 7200 RPM 时，磁盘盘片再次旋转大约需要 1/60 秒，这是计算机时间的永恒。

于 2013-09-19T16:13:11.780 回答