0

无论如何，是否可以查看 Pig 和 Hive 生成​​的 Map-Reduce 作业的代码？

我知道使用 Hive，我可以查看抽象语法树，但似乎无法访问 MR 作业的实际 Java 代码。我在那个假设中错了吗？

4

2 回答 2

4

Pig 和 Hive 不生成任何 Java 代码，而是计划。可以使用 shell 中的 explain 命令查看该计划。从 SQL 生成 Java 代码的一种方法是使用YSmart。请注意，Hive 中发生了很多变化，以使其更快。

于 2013-04-12T01:03:24.103 回答
0

您可以自己下载和构建源代码。

然后使用像eclipse这样的java IDE，你可以远程调试你可以检查代码。尽管您可能没有所有依赖项并且可能无法检查所有对象，但您可以比 Explain 函数更详细地查看计划。

要允许远程调试，请将调试参数添加到您的 hadoop bash 脚本中：

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=1044
于 2015-11-04T19:59:25.443 回答