我正在将路径设置为 conf 的输入位置
FileInputFormat.setInputPaths(conf, new Path("path/to/folder"));
当我尝试实现自己的 RecordReader 时，如何从 conf 中检索此位置
提前致谢...
问问题
2037 次
1 回答
3
此调用设置的属性是map.input.dir，因此这应该适合您：
conf.get("map.input.dir");
附带说明一下，您的记录阅读器应该对initialize(InputSplit, TaskAttemptContext)方法中给出的输入拆分进行操作，因为您在 setInputPath 中传递的文件夹实际上将解析为多个输入拆分，通常一个用于文件夹中的每个文件（可能还有多个较大的可拆分文件的输入拆分）。
FileInputFormat基于输入格式的传递FileSplit给初始化方法，您应该能够从该FileSplit.getPath()方法中提取要处理的实际文件。
于 2013-02-08T00:19:28.233 回答