java - 获取添加到 Hadoop MR 作业的输入文件的数量

Question

如何获取在调用 FileInputFormat.addInputPath 和 FileInputFormat.addInputPaths 时添加的输入文件的数量。我正在尝试添加与某些模式匹配的输入文件，并且在没有文件与模式匹配且此 MR 作业没有输入文件的情况下，我想向用户记录一条消息并且根本不提交作业。

谢谢，

文卡特

Answer 1

FileInputFormat将数据存储在Configuration名为mapred.input.dir的变量中，因此您可以使用以下内容：

Configuration conf = job.getConfiguration();
String dirs = conf.get("mapred.input.dir");
String[] arrDirs = dirs.split(",");
int numDirs = arrDirs.length;

执行此操作的源代码的相关部分是：

conf.set("mapred.input.dir", dirs == null ? dirStr : dirs + "," + dirStr);