2

我有一个包含三列的 SQL Server 表：

表格1

col1 int
col2 int
col3 string

我为所有三列定义了一个唯一约束(col1, col2, col3)

现在，我有一个 .csv 文件，我想在此表中添加记录，并且 *.csv 文件可以有重复的记录。

我已经搜索了在上述情况下避免重复的各种选项。以下是对我来说效果很好的三个选项。请看一下并就每种方法的优缺点提出一些想法，以便我选择最好的方法。

选项1 ：

首先避免重复，即在将对象从 csv 文件添加到列表时。我已经HashSet<T>为此使用并覆盖了以下 T 类型的方法： 

public override int GetHashCode()
{
    return col1.GetHashCode() + col2.GetHashCode() + col3.GetHashCode();
}

public override bool Equals(object obj)
{
    var other = obj as T;
    if (other == null)
    {
        return false;
    }
    return col1 == other.col1
        && col2 == other.col2
        && col3 == other.col3;
}

选项 #2

有List<T>而不是HashSet<T>.

将所有对象添加到后删除重复项List<T>

    List<T> distinctObjects = allObjects
        .GroupBy(x => new {x.col1, x.col2, x.col3})
        .Select(x => x.First()).ToList();

选项#3

将所有对象添加到 后删除重复项DataTable。

public static DataTable RemoveDuplicatesRows(DataTable dataTable)
{
    IEnumerable<DataRow> uniqueRows = dataTable.AsEnumerable().Distinct(DataRowComparer.Default);
    DataTable dataTable2 = uniqueRows.CopyToDataTable();
    return dataTable2;
}

虽然我没有比较它们的运行时间，但我更喜欢选项#1，因为我将删除重复项作为第一步 - 所以只进行所需的操作。

请分享您的意见，以便我选择最好的。

非常感谢！

4

2 回答 2

5

我喜欢选项 1：HashSet<T>提供了一种在将重复发送到数据库之前避免重复的快速方法。您应该实现更好的GetHashCode，例如使用 Skeet 的实现，来自What is the best algorithm for a overridden System.Object.GetHashCode?

但是有一个问题：如果表中已经包含可以是 CSV 副本的数据怎么办？您必须先将整个表格复制下来HashSet才能真正起作用。你可以这样做，但要解决这个问题，我可能会将选项 1 与一个临时表和一个插入语句配对，如跳过/忽略 insert 上的重复行：

INSERT dbo.Table1(col1, col2, col3)
SELECT col1, col2, col3 
FROM dbo.tmp_holding_Table1 AS t
WHERE NOT EXISTS (SELECT 1 FROM dbo.Table1 AS d
WHERE col1 = t.col1
AND col2 = t.col2
AND col3 = t.col3);

通过这种组合，可以最大限度地减少传入/传出数据库的数据量。

于 2013-10-28T18:05:22.190 回答
0

另一种解决方案可能是IGNORE_DUP_KEY = { ON | OFF }创建/重建索引时的选项。此解决方案将防止在插入重复行时出错。相反，SQL Server 将生成警告：Duplicate key was ignored..

CREATE TABLE dbo.MyTable (Col1 INT, Col2 INT, Col3 INT);
GO

CREATE UNIQUE INDEX IUN_MyTable_Col1_Col2_Col3 
ON dbo.MyTable (Col1,Col2,Col3)
WITH (IGNORE_DUP_KEY = ON);
GO

INSERT dbo.MyTable (Col1,Col2,Col3)
VALUES (1,11,111);
INSERT dbo.MyTable (Col1,Col2,Col3)
SELECT 1,11,111 UNION ALL 
SELECT 2,22,222 UNION ALL 
SELECT 3,33,333;
INSERT dbo.MyTable (Col1,Col2,Col3)
SELECT 2,22,222 UNION ALL 
SELECT 3,33,333;
GO
/*
(1 row(s) affected)

(2 row(s) affected)
Duplicate key was ignored.
*/


SELECT * FROM dbo.MyTable;
/*
Col1        Col2        Col3
----------- ----------- -----------
1           11          111
2           22          222
3           33          333
*/

注意：因为如果您尝试使用 ALTER INDEX 更改索引选项，您有一个 UNIQUE 约束

ALTER INDEX IUN_MyTable_Col1_Col2_Col3
ON dbo.MyTable 
REBUILD WITH (IGNORE_DUP_KEY = ON)

你会得到以下错误：

Msg 1979, Level 16, State 1, Line 1
Cannot use index option ignore_dup_key to alter index 'IUN_MyTable_Col1_Col2_Col3' as it enforces a primary or unique constraint.`

因此，如果您选择此解决方案，则选项包括：

1) 创建另一个 UNIQUE 索引并删除 UNIQUE 约束（此选项将需要更多存储空间，但将始终处于活动状态的 UNIQUE 索引/约束）或

2）删除 UNIQUE 约束并使用WITH (IGNORE_DUP_KEY = ON)选项创建一个 UNIQUE 索引（我不推荐最后一个选项）。

于 2013-10-28T19:25:00.670 回答