0

我正在使用 SQLite 数据库，并将记录插入其中。这需要很长时间！我见过有人说他们可以在一分钟内处理几千个。我有大约 2400 条记录。每条记录需要 30s-2m 才能完成。重新创建数据库不是一种选择。我试图以不同的方式创建一个交易。我需要使用计时器，因为我正在使用 aProgressBar向我展示正在发生的事情。这是我正在使用的代码：

string con;
con = string.Format(@"Data Source={0}", documentsFolder);

SQLiteConnection sqlconnection = new SQLiteConnection(con);
SQLiteCommand sqlComm = sqlconnection.CreateCommand();
sqlconnection.Open();
SQLiteTransaction transaction = sqlconnection.BeginTransaction();

Timer timer2 = new Timer();
timer2.Interval = 1000;
timer2.Tick += (source, e) =>
                    {
                        URL u = firefox.URLs[count2];
                        string newtitle = u.title;
                        form.label1.Text = count2 + "/" + pBar.Maximum;
                        string c_urls = "insert or ignore into " + table + " (id,
 url, title, visit_count, typed_count, last_visit_time, hidden) values (" + dbID + ",'" + u.url + "','" 
    + newtitle + "',1,1, " + ToChromeTime(u.visited) + ", 0)";
                        string c_visited = "insert or ignore into " + table2 + " (id,
 url, 
    visit_time, transition) values (" + dbID2 + "," + dbID + "," + 
ToChromeTime(u.visited) + ",805306368)";
                        sqlComm = new SQLiteCommand(c_urls, sqlconnection);
                        sqlComm.ExecuteNonQuery();
                        sqlComm = new SQLiteCommand(c_visited, sqlconnection);
                        sqlComm.ExecuteNonQuery();

                        dbID++;
                        dbID2++;


                        pBar.Value = count2;
                        if (pBar.Maximum == count2)
                        {
                            pBar.Value = 0;
                            timer.Stop();
                            transaction.Commit();
                            sqlComm.Dispose();
                            sqlconnection.Dispose();
                            sqlconnection.Close();
                        }

                        count2++;
                    };
timer2.Start();

我究竟做错了什么？

4

3 回答 3

2

这就是我要按顺序解决的问题。它可能会也可能不会解决问题，但看到它不会有什么坏处（而且它可能只是做了一些魔术）：

  1. 确保数据库没有被更新（来自另一个线程、进程甚至计时器！）。写入者将获得锁，并且未关闭/运行时间过长的事务可能会以不良方式进行交互。（对于需要“30 秒到 2 分钟”的更新，我想在获取锁时会出现问题。还要确保数据库所在的媒体足够，例如本地驱动器。）

  2. 交易未被使用 (??)。在计时器回调中移动事务，将其附加到适当的 SQLCommands，并在回调结束之前将其处理掉。（使用using）。

  3. 并非所有 SQLCommand 都被正确处理。把每一个都扔掉。（使用using简化了这一点。不要让它流过回调。）

  4. 未使用占位符。这不仅更简单易用，而且对 SQLite 和适配器也更加友好。

（仅作为示例；以下代码中可能存在错误。）

// It's okay to keep long-running SQLite connections.
// In my applications I have a single application-wide connection.
// The more important thing is watching thread-access and transactions.
// In any case, we can keep this here.
SQLiteConnection sqlconnection = new SQLiteConnection(con);
sqlconnection.Open();

// In timer event - remember this is on the /UI/ thread.
// DO NOT ALLOW CROSS-THREAD ACCESS TO THE SAME SQLite CONNECTION.
// (You have been warned.)
URL u = firefox.URLs[count2];
string newtitle = u.title;
form.label1.Text = count2 + "/" + pBar.Maximum;

try {
   // This transaction is ONLY kept about for this timer callback.
   // Great care must be taken with long-running transactions in SQLite.
   // SQLite does not have good support for (long running) concurrent-writers
   // because it must obtain exclusive file locks.
   // There is no Table/Row locks!
   sqlconnection.BeginTransaction();
   // using ensures cmd will be Disposed as appropriate.
   using (var cmd = sqlconnection.CreateCommand()) {
     // Using placeholders is cleaner. It shouldn't be an issue to
     // re-create the SQLCommand because it can be cached in the adapter/driver
     // (although I could be wrong on this, anyway, it's not "this issue" here).
     cmd.CommandText = "insert or ignore into " + table
       + " (id, url, title, visit_count, typed_count, last_visit_time, hidden)"
       + " values (@dbID, @url, 'etc, add other parameters')";
     // Add each parameter; easy-peasy
     cmd.Parameters.Add("@dbID", dbID);
     cmd.Parameter.Add("@url", u.url);
     // .. add other parameters
     cmd.ExecuteNonQuery();
   }
   // Do same for other command (runs in the same TX)
   // Then commit TX
   sqlconnection.Commit();
} catch (Exception ex) {
   // Or fail TX and propagate exception ..
   sqlconnection.Rollback();
   throw;
}

if (pBar.Maximum == count2)
{
    pBar.Value = 0;
    timer.Stop();
    // All the other SQLite resources are already
    // cleaned up!
    sqlconnection.Dispose();
    sqlconnection.Close();
}
于 2012-07-19T23:33:54.930 回答
2

我不确定这是否是您的问题，但您使用 ADO.NET 的一般模式是错误的 - 您不应该为每次插入创建新命令（并反复为查询准备付费）。

相反，请执行以下操作：

  • 循环前：
    • 一次创建命令。
    • 创建适当的绑定参数。
  • 在循环：
    • 只需为绑定参数分配适当的值。
    • 并执行命令。

您还可以考虑使用不那么细粒度的事务：尝试在同一个事务中放入多个插入，以最大限度地减少为事务持久性支付的费用。

您可能还想看看这篇文章。

于 2012-07-20T01:00:23.967 回答
0

您可以尝试以下方法之一来提高性能：

  • 将所有插入包装在事务中- 有助于减少对数据库的实际写入。
  • 使用 WAL - Write-Ahead-Log是一种日志模式，可加快写入速度并启用并发性。（如果您的数据库位于网络位置，则不推荐）。
  • 同步 NORMAL - 同步模式指示数据实际刷新到物理内存的频率（fsync() 调用）。这可能是一些机器上的时间，因此这种刷新发生的频率是至关重要的。确保"Synchronous=NORMAL"在大多数情况下显式打开具有理想的连接。FULLSynchronous MODE as和NORMAL(NORMAL 大约好 1000 倍)之间存在巨大差异。

在类似的帖子中查找更多详细信息 => System.Data.SQLite 版本 1.0.74 和最新的 1.0.113 之间发生了什么变化？

于 2020-12-23T05:21:08.853 回答