java - Apache Crunch 管道如何生成 map reduce 作业？

Question

我是像 Crunch/Cascading 这样的 hadoop 管道框架的新手。我想知道在这些框架的底部，它们是否会生成原始的映射器和减速器类，就像原始的 MapReduce 程序一样？从 Crunch 源代码中，我没有找到将管道转换为原始 MapReduce 类的代码。

Answer 1

您可以使用代码中的以下行来可视化 MapReduce 计划 crunch 创建的。将 pipeline.dot 中创建的 DOT 代码复制到 graphviz 以查看计划。

String dot = pipeline.getConfiguration().get("crunch.planner.dotfile");
Files.write(dot, new File("pipeline.dot"), Charsets.UTF_8);