1

我被要求寻找最有效的方法来获取 DataTable 输入并使用 C# 将其写入 SQL Server 表。问题是解决方案必须始终使用 ODBC 连接，这排除了 sqlBulkCopy。该解决方案还必须适用于所有 SQL Server 版本，直至 SQL Server 2008 R2。

我认为最好的方法是使用以下 SQL 语法一次使用 1000 行的批量插入：

INSERT INTO dbo.Table1(Field1, Field2) SELECT Value1, Value2 UNION SELECT Value1, Value2

我已经编写了代码检查与 DataTable 输入对应的表是否已经存在于 SQL Server 上，如果不存在则创建一个。

我还编写了代码来创建 INSERT 语句本身。我正在努力的是如何从数据表中的行动态构建 SELECT 语句。如何访问行中的值来构建我的 SELECT 语句？我想我还需要检查每一列的数据类型，以确定这些值是否需要用单引号 (') 括起来。

这是我当前的代码：

        public bool CopyDataTable(DataTable sourceTable, OdbcConnection targetConn, string targetTable)
    {
        OdbcTransaction tran = null;
        string[] selectStatement = new string[sourceTable.Rows.Count];

        // Check if targetTable exists, create it if it doesn't
        if (!TableExists(targetConn, targetTable))
        {
            bool created = CreateTableFromDataTable(targetConn, sourceTable);

            if (!created)
                return false;
        }

        try
        {
            // Prepare insert statement based on sourceTable
            string insertStatement = string.Format("INSERT INTO [dbo].[{0}] (", targetTable);

            foreach (DataColumn dataColumn in sourceTable.Columns)
            {
                insertStatement += dataColumn + ",";
            }

            insertStatement += insertStatement.TrimEnd(',') + ") ";

            // Open connection to target db
            using (targetConn)
            {
                if (targetConn.State != ConnectionState.Open)
                    targetConn.Open();

                tran = targetConn.BeginTransaction();

                for (int i = 0; i < sourceTable.Rows.Count; i++)
                {
                    DataRow row = sourceTable.Rows[i];

                    // Need to iterate through columns in row, getting values and data types and building a SELECT statement

                    selectStatement[i] = "SELECT ";
                }

                insertStatement += string.Join(" UNION ", selectStatement);

                using (OdbcCommand cmd = new OdbcCommand(insertStatement, targetConn, tran))
                {
                    cmd.ExecuteNonQuery();
                }

                tran.Commit();
                return true;
            }
        }       
        catch 
        {
            tran.Rollback();
            return false;
        }
    }

任何建议将不胜感激。此外，如果有一种比我建议的更简单的方法，那么任何细节都会很棒。

4

2 回答 2

2

好的，因为我们不能使用存储过程或批量复制；几年前，当我对各种方法进行建模时，性能的关键决定因素是对服务器的调用次数。因此，发现将一组 MERGE 或 INSERT 语句批处理成一个用分号分隔的调用是最快的方法。我最终批处理了我的 SQL 语句。我认为 SQL 语句的最大大小是 32k，所以我将我的批次切成了那个大小的单位。

（注意 - 使用 StringBuilder 而不是手动连接字符串 - 它对性能有有益的影响）

Psuedo-code
string sqlStatement = "INSERT INTO Tab1 VALUES {0},{1},{2}";
StringBuilder sqlBatch = new StringBuilder();
foreach(DataRow row in myDataTable)
{
    sqlBatch.AppendLine(string.Format(sqlStatement, row["Field1"], row["Field2"], row["Field3"]));
    sqlBatch.Append(";");
}
myOdbcConnection.ExecuteSql(sqlBatch.ToString());

您需要处理批量大小的复杂性，并在字符串替换步骤中格式化正确的字段数据类型，否则这将是最佳性能。

于 2016-08-18T09:26:27.937 回答
1

PhillipH 的标记解决方案是开放的几个错误和 SQL 注入。

通常，您应该DbCommand使用参数构建并执行它，而不是执行自构建 SQL 语句。

CommandText 必须"INSERT INTO Tab1 VALUES ?,?,?"用于 ODBC 和 OLEDB，SqlClient 需要命名参数 ("@<Name>")。

参数应与垫柱的尺寸一起添加。

于 2017-04-09T18:30:46.743 回答