java - 从hadoop中的job conf获取输入路径

Question

我正在将路径设置为 conf 的输入位置

FileInputFormat.setInputPaths(conf, new Path("path/to/folder"));

当我尝试实现自己的 RecordReader 时，如何从 conf 中检索此位置

提前致谢...

Answer 1

此调用设置的属性是map.input.dir，因此这应该适合您：

conf.get("map.input.dir");

附带说明一下，您的记录阅读器应该对initialize(InputSplit, TaskAttemptContext)方法中给出的输入拆分进行操作，因为您在 setInputPath 中传递的文件夹实际上将解析为多个输入拆分，通常一个用于文件夹中的每个文件（可能还有多个较大的可拆分文件的输入拆分）。

FileInputFormat基于输入格式的传递FileSplit给初始化方法，您应该能够从该FileSplit.getPath()方法中提取要处理的实际文件。