我正在寻找一种工作流工具来运行复杂的 map-reduce 作业。我想到了 Oozie，但也想探索 Cascading。是否有使用级联 API 链接现有 M/R 作业的示例代码或示例？另外，你能提供 Oozie Vs Cascading 的比较吗？
问问题
2228 次
2 回答
7
Cascading 和 Oozie 不在同一类别中。
Oozie 是一个工作流调度程序。
Cascading 是一种用于创建工作流的 API。它与调度程序无关，即它应该与您使用的任何调度程序系统一起运行。
可能有些混淆，因为 Oozie 文档提到了“DAG”，并且都在 Hadoop 上运行。
此外，级联在检查点支持中具有“数据可用性”的概念，在 Oozie 中支持，尽管有所不同。
于 2013-01-03T06:06:15.540 回答
0
就我个人而言，我在某种程度上都在玩，我发现级联有趣的是
1）简洁而富有表现力的简单关键字如流，水龙头，管道等，
2) 用于本地开发和研究的基于 TDD 的惊人方法
3）漂亮的计划视图（.dot 文件），一旦项目发展起来就会很有用，因此维护很容易。
4) 使用 groovy、scala、cloujre 的基于 DSL 的方法。因此无需担心学习任何新语言或 hadoop。
5）简单的云部署（例如亚马逊支持作为原始jar部署）。
6）你可以调用任何东西，比如现有的 pig 或 hive 或纯其他 MR jar，只要它们公开 java api。
7) 令人惊叹的机器学习和自然语言处理相关工作。
于 2013-10-31T07:35:50.420 回答