hadoop - 如何标记来自不同目录的特定输入文件

Question

我正在读取两组目录（比如说 dirA 和污垢）作为 MapReduce 作业的输入，我需要以某种方式对它们进行不同的标记，以便在映射阶段我知道哪个来自哪个。有什么建议吗？

Answer 1

您可以使用MultipleInputs进行调查并为每个输入路径定义不同的映射器，或者检查输入拆分（Context.getInputSplit() - 将其转换为 FileSplit 并获取路径）并相应地调整输出。