我想使用 distcp 将文件列表（> 1K 文件）复制到 hdfs 中。我已经在本地目录中存储了文件列表，现在我可以使用 -f 复制所有文件吗？如果是，我必须在文件列表文件中维护什么格式？还是有其他更好的方法？
问问题
657 次
1 回答
0
如果您的用例是将数据从本地文件系统（例如 Linux）复制到 HDFS，则不必使用 distcp。您可以简单地使用hdfs dfs -put命令。这是语法。
hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/
例如
hdfs dfs -mkdir /user/hduser/destination-dir/
hdfs dfs -put /home/abc/mydir/* /user/hduser/destination-dir/
您创建了一个包含文件路径列表的文件，但根本不需要。当您将数据从一个集群复制到另一个集群时，它主要用于（用于 distcp）
于 2016-08-02T11:10:23.327 回答