linux - 比较 2 个文件夹并查找具有不同字节数的文件

Question

在 Linux Mint 12 中使用 Gnome，我将一个大约 9.7 GB 的文件夹（包含一个复杂的子文件夹树）从一个 NTFS 闪存驱动器复制到另一个 NTFS 闪存驱动器。根据 Gnome，文件计数匹配，但根据 du（和其他程序），字节计数不匹配。（我在其他 Linux 发行版和 Windows XP 中复制文件夹时遇到了同样的问题。）

我只想知道哪些文件没有匹配的字节数。（我不想比较每个文件的内容，因为那样会花费太长时间。）找到字节数不匹配文件的最佳、最简单和最快的方法是什么？

Answer 1

我会调整@user1464130 的答案，因为它无法处理文件名中的空格。

cd dir1
find . -type f -printf "%p %s\n" | sort > ~/dir1.txt
cd dir2
find . -type f -printf "%p %s\n" | sort > ~/dir2.txt
diff ~/dir1.txt ~/dir2.txt

如果要对每个文件启动命令并在报告中使用结果，可以使用whileBash 构造。此示例用于md5sum计算每个文件的校验和。

find . -maxdepth 1 -type f -printf "%p %s\n" | while read path size; do echo "$path - $(md5sum $path | tr -s " " | cut -f 1 -d " ") - $size" ; done

每个$()都单独执行，并允许我们计算每个文件的校验和。使用将tr每个连续的空格压缩到一个空格中，并cut提取第 n 个位置的单词，这里是第一个位置。如果我们不这样做，我们会两次获取文件名，因为md5sum将其返回到标准输出。

这是一个不使用比较的示例（否diff）。请注意，我使用破折号-来强调我们输出的关于每个文件的三个数据，但如果您想将其提供给另一个程序，这可能会出现问题。

$ find . -maxdepth 1 -name "*.c" -type f -printf "%p %s\n" |  while read path size; do echo "$path - $(md5sum $path | tr -s " " | cut -f 1 -d " ") - $size" ; done
./thread.c - 5f2b7b12c7cd12fcb9e9796078e5d15b - 584
./utils.c - d61bc1dbc72768e622a04f03e3b8f7a2 - 3413

编辑：要处理文件名中的空格并仍然获取校验和和大小，您可以使用以下代码。

$ find . -maxdepth 1 -name "*.c" -type f -print0 | xargs -0 -n 1 md5sum | while read checksum path; do echo $path $(stat --printf="%s" "$path") $checksum ; done
./ini tia li za tion.c 84 31626123e9056bac2e96b472bd62f309

Answer 2

您是否检查了两个分区是否具有相同的属性？（块大小、大小、为删除或坏块保留的空间等）

对于您的具体情况，我建议使用选项 -n（或 --dry-run）进行rsync 。它会告诉你哪些文件不同。那是：

$ rsync -I -n /source/ /target/

选项-I是忽略时间。您可以使用相同的命令使两个目录等效（时间戳、权限等）。

查看rsync的手册或尝试选项--help以获取更多选项和如何使用它的示例。它非常强大。

Answer 3

假设您需要比较 dir1 和 dir 2，以下是控制台命令：

cd dir1
find . -type f|sort|xargs ls -l| awk '{print $5,$8}' > ~/dir1.txt
cd dir2
find . -type f|sort|xargs ls -l| awk '{print $5,$8}' > ~/dir2.txt
diff ~/dir1.txt ~/dir2.txt

您可能需要编辑 awk 参数以使其正确打印文件长度和路径。