0

我有一个包含大约 5 亿条记录的表。我正在从表中读取数据并将其存储在字典中。

编辑：我正在将数据加载到字典中，因为这些数据需要与来自索引服务器的另一量数据进行比较。

我的代码如下：

public static void GetDetailsFromDB()
{
    string sqlStr = "SELECT ID, Name ,Age, email ,DOB ,Address ,Affiliation ,Interest ,Homepage FROM Author WITH (NOLOCK) ORDER BY ID";
    SqlCommand cmd = new SqlCommand(sqlStr, _con);
    cmd.CommandTimeout = 0;

    using (SqlDataReader reader = cmd.ExecuteReader())
    {
        while (reader.Read())
        {
            //Author Class
            Author author = new Author();

            author.id = Convert.ToInt32(reader["ID"].ToString());
            author.Name = reader["Name"].ToString().Trim();
            author.age = Convert.ToInt32(reader["Age"].ToString());
            author.email = reader["email"].ToString().Trim();
            author.DOB = reader["DOB"].ToString().Trim();
            author.Address = reader["Address"].ToString().Trim();
            author.Affiliation = reader["Affiliation"].ToString().Trim();
            author.Homepage = reader["Homepage"].ToString().Trim();

            string interests = reader["Interest"].ToString().Trim();
            author.interest = interests.Split(new char[] { ',' }, StringSplitOptions.RemoveEmptyEntries).Select(p => p.Trim()).ToList();

            if (!AuthorDict.ContainsKey(author.id))
            {
                AuthorDict.Add(author.id, author);
            }

            if (AuthorDict.Count % 1000000 == 0)
            {
                Console.WriteLine("{0}M author loaded.", AuthorDict.Count / 1000000);
            }
        }
    }
}

这个过程需要很长时间才能从数据库中读取和存储所有 5 亿条记录。此外，RAM 使用率非常高。

这可以优化吗？另外，可以减少运行时间吗？任何帮助表示赞赏。

4

1 回答 1

3

如果我捏住鼻子，我可以提出以下优化：

  1. 将字段的顺序位置存储在局部变量中，并reader使用这些顺序变量引用字段。

  2. 不要调用ToString读者并转换 - 只需以正确的类型获取值。

  3. 获得 id 后立即检查作者 id 是否存在AuthorDict。Author如果不需要，甚至不要创建实例。

    using (SqlDataReader reader = cmd.ExecuteReader())
{
    var idOrdinal = reader.GetOrdinal("ID");
    //extract other ordinal positions and store here

    while (reader.Read())
    {
        var id = reader.GetInt32(idOrdinal);

        if (!AuthorDict.ContainsKey(id))
        {
            Author author = new Author();
            author.id = reader.GetInt32(idOrdinal);
            ...
        }
    }
}
于 2013-02-17T15:21:57.663 回答