1

我正在处理大量数据，并使用 CLR 进行处理。CLR 处理工作很快，但我需要一种快速的方法将处理后的数据移动到数据库（通过 CLR）。

例如，看下面的 clr 代码

protected static string Normalize(string s) // space and special character remover
    {
        char[] arr = s.ToCharArray();
        arr = Array.FindAll<char>(arr, (c => char.IsLetterOrDigit(c)));
        return new string(arr).ToLower();
    }

    [Microsoft.SqlServer.Server.SqlProcedure]
    public static void udpNormStr ()
    {
        SqlConnection con = new SqlConnection("context connection = true");
        SqlCommand cmd = new SqlCommand("Select cName from NamesTable", con);
        SqlDataAdapter da = new SqlDataAdapter(cmd);
        DataTable dt = new DataTable();
        DataTable fill = new DataTable();
        fill.Columns.Add("NormName", typeof(string));
        da.Fill(dt);
        cmd.CommandText = "insert into NormTable values (@nName)";
        cmd.Parameters.Add("@nName", SqlDbType.VarChar);
        foreach (DataRow row in dt.Rows)
        {
            fill.Rows.Add(Normalize(row[0].ToString()));
        }
        con.Open();
        foreach (DataRow row in fill.Rows)
        {
            cmd.Parameters["@nName"].Value = row[0];            
            cmd.ExecuteNonQuery();            
        }
        con.Close();
}

执行需要大量时间，并且在插入操作中浪费了 90% 的时间。请提出一种将处理后的数据移动到数据库的更好方法（通过 CLR）。

4

4 回答 4

6

SqlBulkCopy; 既然你已经DataTable有了，你可以使用：

using (var bcp = new SqlBulkCopy(con))
{
    bcp.DestinationTableName = "NormTable";
    bcp.WriteToServer(dt);
}

请注意，对于流数据，您还可以创建自定义IDataReader实现并将其提供给WriteToServer.

于 2013-05-16T10:52:17.210 回答
2

使用 SqlTransaction 包装您的连接以避免隐式事务。

con = new SqlConnection("context connection=true");
con.Open();
using (con)
{
    using (var sqlTrans = con.BeginTransaction()) //one transaction instead of many from each insert implicit
    {
        const string cmdText = @"INSERT INTO [table1] ([a],[b],[c],[d],[e]) VALUES (@a,@b,@c,@d,@e)";
        using (var cmd = new SqlCommand(cmdText, con, sqlTrans))
        {
            var aField = cmd.Parameters.Add("@a", SqlDbType.NVarChar, 255);
            var bField = cmd.Parameters.Add("@b", SqlDbType.Int);
            var cField = cmd.Parameters.Add("@c", SqlDbType.Bit);
            var dField = cmd.Parameters.Add("@d", SqlDbType.NVarChar, 255);
            var eField = cmd.Parameters.Add("@e", SqlDbType.Int);

            //same for all
            cField.Value = false;
            dField.Value = "d";
            eField.Value = 1;

            foreach (var someValue in valueCollection)
            {
                aField.Value = someValue.Key; 
                bField.Value = someValue.Value; 
                cmd.ExecuteNonQuery();
            }
        }
        sqlTrans.Commit();
    }
    con.Close();
}
于 2013-10-15T15:57:33.100 回答
1

如果这项工作是 SQL/CLR，那么这很棘手。一种想法可能是使该方法仅返回数据，例如作为CLR 表值函数，然后INSERT在 TSQL 中从表值函数中提取数据。

于 2013-05-17T12:18:45.030 回答
1

尝试使用SQLBulkCopy类

这是一次将 DataTable 插入数据库的示例方法

 public static bool SaveDetails(DataTable dbTable)
    {
        try
        {
            SqlConnection conn = new SqlConnection("Data Source=akshay;Initial Catalog=CosmosDB;User Id=sa;Password=Nttdata123");
            conn.Open();
            SqlBulkCopy sbc = new SqlBulkCopy(conn);


            if (dbTable.Rows.Count > 0)
            {
                sbc.DestinationTableName = "Employee";
                sbc.WriteToServer(dbTable);              


            }

            sbc.Close();
            conn.Close();


            return true;



        }
        catch (Exception exp)
        {

            return false;
        }

    }
于 2013-05-16T10:51:47.940 回答