image - 查找重复的图像文件

Question

我有大约 1 TB 的图像，存储在我的硬盘中。这些是朋友和家人随时间拍摄的照片。其中许多图片是重复的，从某种意义上说，相同的文件保存在不同的位置，可能名称也不同。我想问是否有任何工具、实用程序或方法（我可以编写一个）来找出重复文件。

Answer 1

我建议使用md5deep 或 sha1deep。在 Linux 上只需安装包md5deep（它包含在大多数 Linux 发行版中）。

安装后，只需在整个磁盘上以递归模式运行它，并使用如下命令将磁盘上每个文件的校验和保存到文本文件中：

md5deep -r -l . > filelist.txt

如果您sha1更喜欢md5，请sha1deep改用（它是同一包的一部分）。

有了文件后，只需使用（或在上一步中将其通过sort管道输入）对其进行排序：sort

sort < filelist.txt > filelist_sorted.txt

现在，只需使用任何文本编辑器查看结果 - 您将很快看到所有重复项及其在磁盘上的位置。

如果您愿意，可以使用 Perl 或 Python 编写简单的脚本，以根据此文件列表删除重复项。