我有一个关于 hadoop 复制的问题。
我使用下面提到的命令更改了 hadoop 中特定目录中文件的复制因子:
hadoop dfs -setrep -R 3 -w /data/routing
它是成功的,它将这个目录中所有文件的复制因子设置为3
. 但是,在此目录下写入的任何新文件都继续具有默认复制因子,即2
.
是否有任何选项可以使此更改持久化?
实际上,我希望在此目录下写入的所有新文件始终具有复制因子3
,而不管默认复制因子是什么。
我有一个关于 hadoop 复制的问题。
我使用下面提到的命令更改了 hadoop 中特定目录中文件的复制因子:
hadoop dfs -setrep -R 3 -w /data/routing
它是成功的,它将这个目录中所有文件的复制因子设置为3
. 但是,在此目录下写入的任何新文件都继续具有默认复制因子,即2
.
是否有任何选项可以使此更改持久化?
实际上,我希望在此目录下写入的所有新文件始终具有复制因子3
,而不管默认复制因子是什么。
如果您想要默认复制因子以外的其他内容,则需要在创建文件时显式设置复制因子。
目录下的文件是通过 mapreduce 作业创建的,还是手动使用其他进程创建的?
对于 mapreduce,只需更改/设置默认复制因子的作业配置值 - dfs.replication
。如果您在某些 Java 代码中手动创建文件,请查看 APIFileSystem.create(Path, short)