和有什么区别
hadoop distcp
和
hadoop distcp -update
他们俩都会做同样的工作,只是我们如何称呼他们略有不同。它们都不会覆盖目标中已经存在的文件。那么在两组不同的命令中有什么意义呢?
distcp 和 distcp -update 之间的区别在于 distcp 默认跳过文件,而如果 src 大小与 dst 大小不同,“distcp -update”将更新文件。
这在文档中有点令人困惑,因为 distcp 的默认性质是在文件存在时跳过以防止冲突。
从文档:
“如前所述,这不是“同步”操作。检查的唯一标准是源文件和目标文件的大小;如果它们不同,则源文件替换目标文件。
请记住,-update
它不是 rsync 之类的 delta-xfer 算法,它只进行大小检查,当文件大小相同但数据不同时,这并不完美。
我还应该详细说明一些并解释distcp -overwrite
无论大小是否匹配都会覆盖文件。这是一个破坏性的过程,因此请确保您确实想要这样做。
一些很好的例子可以在这里找到:http: //hadoop.apache.org/common/docs/r0.19.2/distcp.html#uo
我还想举例说明我在两个集群之间的同步操作中所做的事情:
hadoop distcp -pugp -i -delete -update hftp://hdfs-nn1:50070/clustera hdfs://hdfs-nn2:9000/clustera
这将更新 hdfs-nn2 中与 hdfs-nn1 大小不匹配的所有文件,并删除任何无关文件。如果使用 .Trash,则删除的所有文件都将放在调用 distcp 的用户的垃圾箱中。
我会尝试一下,这样你就可以看到各种命令的效果,因为当你不小心清除了 TB 的数据时会很痛苦,所以一定要使用你的垃圾箱。