问题标签 [duplicates]

我在 Perl 中有一个数组：

如何从数组中删除重复项？

我一直在使用string[]从函数调用返回的 C# 中的数组。我可能会强制转换为一个Generic集合，但我想知道是否有更好的方法来做到这一点，可能是使用临时数组。

从 C# 数组中删除重复项的最佳方法是什么？

从相当大的SQL Server表（即 300,000+ 行）中删除重复行的最佳方法是什么？

RowID当然，由于标识字段的存在，这些行不会是完美的重复。

我的表

任何人都有在 C# 中对通用列表进行重复数据删除的快速方法吗？

我需要从一个表中检索所有行，其中 2 列组合起来都不同。所以我想要所有在同一天以相同价格发生的没有任何其他销售的销售。基于日期和价格的唯一销售将更新为活动状态。

所以我在想：

但是我的大脑比这更痛苦。

例如，引用 System.Data.Datagrid 而不仅仅是 Datagrid。请提供例子和解释。谢谢。

首先让我说，能够从一个平面文件中获取 1700 万条记录，然后将其推送到远程机器上的数据库并花费 7 分钟，这真是太棒了。SSIS 真的很棒。但是现在我已经有了这些数据，我该如何删除重复项？

更好的是，我想获取平面文件，从平面文件中删除重复项并将它们放回另一个平面文件中。

我正在考虑一个：

Data Flow Task

• 文件源（带有关联的文件连接）
• 一个 for 循环容器
• 一个脚本容器，包含一些逻辑来判断另一行是否存在

谢谢你，这个网站上的每个人都知识渊博。

Update: 我找到了这个链接，可能有助于回答这个问题

What is an example of a fast SQL to get duplicates in datasets with hundreds of thousands of records. I typically use something like:

But this is quite slow.

我有一个ArrayList<String>，我想从中删除重复的字符串。我怎样才能做到这一点？

前段时间，我使用Text::DeDupe编写了一个小脚本来删除重复的博客文章，然后才不得不关注它们。

在阅读了实现所依据的 Web 论文的句法聚类之后，我希望能够找到重叠的文档（例如，与全文相对的博客片段，也许还有引号）。

您是否知道在编写自己的 C、C++ 或 perl 中我可以尝试的任何其他实现？