hadoop - HDFS 错误：目标已存在

Question

我对 Hadoop 很陌生。当我尝试执行此命令时，它说目标已经存在。如何从 hadoop 中删除此文件？这与删除目标相同吗？

me$ hdfs -copyFromLocal myfile.txt input/myfile.txt

copyFromLocal: Target input/myfile.txt already exists

Answer 1

您不必先删除文件，然后再复制新文件。-f您可以使用以下选项一步完成-copyFromLocal

hadoop fs -copyFromLocal -f myfile.txt input/myfile.txt

Answer 2

如果你想从你的 HDFS 中删除文件，那么你会这样做：

$ hadoop dfs -rm <filePath>

在您的情况下，您需要：

$ hadoop dfs -rm input/myfile.txt

Answer 3

此命令递归删除并允许您删除目录。

hadoop dfs -rmr <aDirectory>

就像rm -rf aDirectory在linux

Answer 4

对于您想要使用的 Mapreduce 2.x：

hadoop fs -rm /path/to/filename

如果要删除整个目录（如 MR 的结果），最常见的选项是添加 -r 标志。请注意，不推荐使用 -rmr。

hadoop fs -rm -r /path/to/files

如果您要删除大量文件并且不希望它们闲置直到垃圾收集发生，您可以添加 -skipTrash 标志。

hadoop fs -rm -r -skipTrash /path/to/files