mapreduce - 哪个工作图减少可以做，但 apache crunch 不能？

Question

我正在研究 apache crunch。据我所知，crunch 是一个基于 map-reduce 框架的抽象框架。我打算使用 crunch 而不是 map-reduce 框架。

我的问题是 map-reduce 可以做哪些工作，而 crunch 不能？

Answer 1

我不认为 mapreduce 可以做而 apache crunch 做不到。Apache crunch 是一个在 Mapreduce 上运行的框架，就像 Hive、Pig 一样。事实上，它通过编写 DoFn 使 map reduce 编程变得简单，而 crunch 负责使用其执行计划器和引擎在 map 或 reduce 阶段实现业务逻辑。与纯形式的 map reduce 代码相比，连接之类的概念可以很容易地在 crunch 中实现。