hadoop - hadoop 是否自动复制不在 HDFS 上的输入文件？

Question

使用 hadoop 流式传输：

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.0.3.jar -file mapper.rb -mapper mapper.rb -file reducer.rb -reducer reducer.rb -input textfile.txt -output output

假设我所在的目录是“/home/user/sei/Documents”和 textfile.txt

1) is in the same folder as the directory I am currently in 
2) I did not use -copyFromLocal to put textfile.txt into HDFS

hadoop 是否会自动将输入文件（在本例中为 textfile.txt）复制到 HDFS 上的某个位置（即执行时自动复制“/user/sei/textfile.txt”）以用于处理？这是否适用于 hadoop 命令的所有情况（即 hadoop jar jarfile myfilename）

Answer 1

不，它不会将记录复制到 HDFS，您必须自己完成。如果您在一台机器上运行单个节点或伪分布式集群，您应该可以使用本地文件路径。但是，如果您正在运行分布式集群，则映射器和减速器将无法找到该文件。