c++ - 在 C++ 中确定更改数据的最佳方法

Question

我需要用 C++ 编写一个工具来确定一个文件中更改的位与另一个文件进行比较以进行复制。实现这一目标的最佳方法是什么？

我没有考虑特定的操作系统或库，我愿意接受建议。我的主要目标是减少复制所涉及的网络流量。

Answer 1

查看 rsync - 它将文件拆分为块，计算每个块的校验和，并仅传输校验和以确定是否有任何更改，然后仅在必要时传输块数据。

Answer 2

如果您不能按原样使用 rsync，请检查librsync。它很旧，但代码易于阅读和改进。

Answer 3

如果您在同一台机器上没有新旧版本的文件，那么类似 rsync 的算法是前进的方向（请参阅以前的答案）。如果您确实在同一台机器上同时拥有旧版本和新版本的文件，那么您可以比 rsync 做得更好：生成压缩差异并通过网络发送它们。

要生成有效的差异，请查看 VCDIFF (RFC 3284) 二进制增量压缩。一个很好的实现是 xdelta (www.xdelta.org)。如果您想避免由于许可证问题而在接收端使用 xdelta，那么实现解码器/解压缩器相当容易。编写自己的 VCDIFF 差异生成器来生成紧凑的差异要复杂得多（以搜索移动的块为例）。

在 VCDIFF 中，差异也可以是无源的，这意味着它们在手头没有任何源文件（应用差异的文件）的情况下解压缩到目标文件中——在 VCDIFF 中，压缩文件是在两个文件之间创建压缩增量的特殊情况文件。这很有用，因为无论目标是否有文件版本，您都可以使用相同的格式。

Answer 4

我会先尝试一些差异的实现（http://en.wikipedia.org/wiki/Diff）

Answer 5

建议：使用散列函数和分治法来缩小变更范围。不完全是防碰撞解决方案，但 SHA-2 IMO 可以为您工作。