java - 如何在 reduce 阶段工作时启动 map 阶段

Question

我有这种情况。工作 A 和工作 B。是否有机会使用 JobA reduce 阶段提供的数据来启动 JobB 映射阶段，而这仍在工作？

谢谢！

Answer 1

我唯一想到的是有一个线程（在您的驱动程序类中启动）永久检查 JobA 的输出目录。当创建并完全编写了特定（组）part-r-xxxx 文件时，您可以启动 JobB，并将该特定（组）part-r-xxxx 文件作为输入。

我现在唯一能确定的问题是与检查 part-r-xxxx 文件是否已完全写入有关的问题。