powershell - 使用 Powershell 在 CSV 中查找重复项

Question

我有几个超过 1GB 的 CSV，无法在 Excel 中打开。每行有 5 个字段。我需要比较其中 3 个字段（名称、大小、修改日期）并保留除 1个之外的所有重复项。并删除唯一字段。

如果这不可能，那么我需要将除 1个重复项之外的所有重复项移动到另一个文件中（然后该文件将用于确定我需要删除哪些文件）

Answer 1

创建一个哈希表。逐行读取文件。将相关字段连接为键。检查密钥是否存在于哈希表中。如果是这样，您将得到一个重复的行。如果没有，你得到（第一次出现）唯一的一行。将其添加到哈希表并将该行记录到另一个文件中。