0

我正在为我的数据库使用 System.Data.SQLite，并且我的选择语句非常慢。查询大约 5000 行数据大约需要 3-5 分钟。这是我正在使用的代码：

        string connectionString;
        connectionString = string.Format(@"Data Source={0}", documentsFolder + ";Version=3;New=False;Compress=True;");
        //Open a new SQLite Connection
        SQLiteConnection conn = new SQLiteConnection(connectionString);
        conn.Open();

        SQLiteCommand cmd = new SQLiteCommand();
        cmd.Connection = conn;
        cmd.CommandText = "Select * From urls";
        //Assign the data from urls to dr
        SQLiteDataReader dr = cmd.ExecuteReader();

        SQLiteCommand com = new SQLiteCommand();
        com.CommandText = "Select * From visits";
        SQLiteDataReader visit = com.ExecuteReader();

        List<int> dbID2 = new List<int>();
        while (visit.Read())
        {
            dbID2.Add(int.Parse(visit[1].ToString()));
        }
        //Read from dr
        while (dr.Read())
        {
            string url = dr[1].ToString();
            string title = dr[2].ToString();
            long visitlong = Int64.Parse(dr[5].ToString());
            string browser = "Chrome";
            int dbID = int.Parse(dr[0].ToString());
            bool exists = dbID2.Any(item => item == dbID);
            int frequency = int.Parse(dr["visit_count"].ToString());

            bool containsBoth = url.Contains("file:///");

            if (exists)
            {
                if (containsBoth == false)
                {
                    var form = Form.ActiveForm as TestURLGUI2.Form1;

                    URLs.Add(new URL(url, title, browser, visited, frequency));
                    Console.WriteLine(String.Format("{0} {1}", title, browser));
                }
            }

        }
        //Close the connection
        conn.Close();

这是另一个需要很长时间的示例：

IEnumerable<URL> ExtractUserHistory(string folder, bool display)
{
    // Get User history info
    DataTable historyDT = ExtractFromTable("moz_places", folder);

    // Get visit Time/Data info
    DataTable visitsDT = ExtractFromTable("moz_historyvisits",
                                           folder);



    // Loop each history entry
    foreach (DataRow row in historyDT.Rows)
    {
        // Select entry Date from visits
        var entryDate = (from dates in visitsDT.AsEnumerable()
                         where dates["place_id"].ToString() == row["id"].ToString()
                         select dates).LastOrDefault();
        // If history entry has date
        if (entryDate != null)
        {
            // Obtain URL and Title strings
            string url = row["Url"].ToString();
            string title = row["title"].ToString();
            int frequency = int.Parse(row["visit_count"].ToString());
            string visit_type;

            //Add a URL to list URLs
            URLs.Add(new URL(url, title, browser, visited, frequency));

            // Add entry to list
            //    URLs.Add(u);
            if (title != "")
            {
                Console.WriteLine(String.Format("{0} {1}", title, browser));
            }
        }
    }

    return URLs;
}



DataTable ExtractFromTable(string table, string folder)
{
    SQLiteConnection sql_con;
    SQLiteCommand sql_cmd;
    SQLiteDataAdapter DB;
    DataTable DT = new DataTable();

    // FireFox database file
    string dbPath = folder + "\\places.sqlite";

    // If file exists
    if (File.Exists(dbPath))
    {
        // Data connection
        sql_con = new SQLiteConnection("Data Source=" + dbPath +
                            ";Version=3;New=False;Compress=True;");

        // Open the Connection
        sql_con.Open();
        sql_cmd = sql_con.CreateCommand();

        // Select Query
        string CommandText = "select * from " + table;

        // Populate Data Table
        DB = new SQLiteDataAdapter(CommandText, sql_con);
        DB.Fill(DT);

        // Clean up
        sql_con.Close();
    }
    return DT;
}

现在，我该如何优化这些以使它们更快？

4

2 回答 2

1

除了将更多的数据聚合作为连接移动到 SQL 之外，您还可以考虑让您SQLiteDataReader提供数据类型，而不是总是解析值。

例如，您有以下行：

long visitlong = Int64.Parse(dr[5].ToString());

dr[5]是一个 Sqlite 值，您首先将其转换为字符串，然后将其解析为 long。这些解析操作需要时间。为什么不这样做：

long visitlong = dr.GetInt64(5);

或者：

long visitlong = dr.GetInt64(dr.GetOrdinal("columnName"));

查看SqliteDataReader 提供的各种方法，并尽可能使用它们，而不是解析值。

编辑：

请注意，这需要将数据存储为正确的类型。如果数据库中的所有内容都存储为字符串，那么一些解析将是不可避免的。

于 2012-07-25T23:48:35.100 回答
0

确保您最近运行过 SQL 命令“ANALYZE {db|table|index};”。

我最近遇到了一种情况，即查询在我的 ER 软件 (Navicat) 中运行得很快（<1 秒），即：没有调试，但在 Visual Studio 中调试非常慢（>1 分钟）。事实证明，因为我在 Navicat (SQLite v3.7) 中进行了数据库设计，所以统计数据与 Visual Studio (v3.8) 中的 System.Data.SQLite 使用的统计数据不同。运行“分析；” 在 Visual Studio 的整个数据库文件上更新了 v3.8 使用的 [sqlite_statX] 表。之后两个地方的速度都是一样的。

于 2014-04-25T04:51:57.743 回答