我是 Hadoop/PIG 的新手。我有一个基本问题。
我们在 PIG UDF 中是否有日志记录工具？我写了一个 UDF，我需要验证我需要记录某些语句来检查流程。是否有可用的日志记录工具？如果是，Pig 日志在哪里？
问问题
6848 次
2 回答
6
假设您的 UDF 扩展EvalFunc，您可以使用从返回的 Logger EvalFunc.getLogger()。日志输出应该在 pig 执行的关联 Map / Reduce 任务中可见（如果作业在多个阶段执行，那么您必须通过它们来查找关联的日志条目）。
于 2012-06-12T23:45:04.713 回答
2
也许很明显，但我建议在部署到集群/伪集群之前以本地模式调试您的 UDF。这样，您可以直接在 IDE 中调试它（在我的例子中是 eclipse），这比日志调试更容易。
于 2012-06-18T08:51:41.553 回答