如何将 HDFS 中的目录复制到 HDFS 中的另一个目录?
我找到了从本地 FS 复制到 HDFS 的 copyFromLocalFile 函数,但我希望源/目标都在 HDFS 中。
谢谢
使用distcp命令。
distcp 的规范用例是在两个 HDFS 集群之间传输数据。如果集群运行相同版本的 Hadoop,则 hdfs 方案是合适的:
% hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
如果您想通过 Java 代码执行此操作,请参阅类org.apache.hadoop.tools.DistCp并适当地调用它。
你可以试试 FileUtil.copy
http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/fs/FileUtil.html