我实现了几个(大约十几个)MapReduce 任务,每个任务都作为由简单 bash 脚本执行的工作流的一部分。出于多种原因,我想将工作流移至 Apache Crunch。
但是,我不清楚如何在不重新实现它们的情况下将我的 MapReduce 任务作为 Crunch 函数运行。有没有一种直接的方法可以将 Map 和 Reduce 实现用作 Crunch 函数?我还想维护工具实现,以便 MapReduce 任务既可以独立运行,也可以作为 Crunch 工作流的一部分运行;有什么办法吗?
感谢您的任何见解。