php - 检查 200 万个文件的重复项

Question

我们需要检查 200 万个文件，看看它们是否有任何重复。

最好的方法是什么？

http://www.easyduplicatefinder.com/ 我们用这个工具做了大约 20k 个文件

但很快我们将不得不做 200 万

关于如何以有效的方式做到这一点的任何想法？

萨斯

Answer 1

在MD5或SHA-1中创建校验和（最好，因为冲突的可能性较小），或者甚至两者都创建（当冲突非常不可能时，你可以睡得很好，知道你没有犯错）。

然后比较校验和。这将比较内容。如果您还想比较文件的名称，请在比较时将它们考虑在内。

就这些。相当（非常）可靠。