hadoop - 如何为具有多个映射器的多输入路径配置 oozie 工作流

Question

任何人都可以帮助我使用 Map-Reduce 操作配置工作流程，该操作采用多个输入路径，每个输入路径都与一个 Mapper 相关联，就像 MultipleInputs.addInputPath api 采用输入路径和一个映射器一样。这些映射器的输出将提供给reducer。

我用java操作试过这个，但它只会执行一个地图任务。但是这里的输入路径包含大量数据，所以在这种情况下，java action 不会我们。

有什么办法可以处理这种情况吗？

问候，克里什。

Answer 1

在工作流程中，您可以在mapred.input.dir. 这将使这些目录中的文件在不同的映射器上运行。