0

我实现了几个(大约十几个)MapReduce 任务,每个任务都作为由简单 bash 脚本执行的工作流的一部分。出于多种原因,我想将工作流移至 Apache Crunch。

但是,我不清楚如何在不重新实现它们的情况下将我的 MapReduce 任务作为 Crunch 函数运行。有没有一种直接的方法可以将 Map 和 Reduce 实现用作 Crunch 函数?我还想维护工具实现,以便 MapReduce 任务既可以独立运行,也可以作为 Crunch 工作流的一部分运行;有什么办法吗?

感谢您的任何见解。

4

1 回答 1

0

对于任何可能偶然发现这一点的人,Crunch 库中有一个文档最少的 API。但是,它相当简单。

见这里:https ://crunch.apache.org/apidocs/0.10.0/org/apache/crunch/lib/Mapreduce.html

于 2016-01-26T22:04:16.537 回答