hadoop - 如何比较大数据中的复制

Question

问题陈述 -

复制是工业中的常见任务，如果复制的数据库与原始数据库具有相同的数据，则验证复制同样重要。

例子 -

我有数据库 D1，出于测试目的，我将数据库 D1 复制到数据库 D2。

复制完成后，我想验证两个数据库是否相同，这可以使用行级比较来完成，但是对于数据长度可能以 TB 为单位的大型数据库来说，这是最糟糕的解决方案。

这里的专家能否为此类实时挑战提供解决方案或任何提示？

Answer 1

这里的专家可以提供解决方案吗？

每个数据库以不同的方式解决问题。使用的方法取决于数据库的体系结构。例子：

• Cassandra架构+类似复制的过程，
• 很少有“事物”使用Merkle Trees。例如，作为复制可以考虑“git clone”命令。创建了一个新副本。Git 架构使用 Markle 树来连接它的“内部文件”，因此它是一种自我验证的解决方案。比特币区块链也是如此，
• 当需要“实时复制”——或者更好的——分布式计算时，可以使用更高级的解决方案，比如Paxos。

(...) 对此类实时挑战有何暗示？

我不确定您是否想问挑战是什么，以防万一：将一个数据库 D1 复制到 D2 很难比较，因为数据量很大，但最重要的是，因为 D1 在现实世界中场景是一个不断变化的“活”数据库。