3

使用 Python 脚本在 Hadoop 流中报告异常的最佳实践是什么？

我的意思是：假设我有一个无法理解其输入的映射器脚本，我如何向 Hadoop 发出信号以终止作业并报告错误消息？

我是否使用logging并结束sys.exit？

4

1 回答 1

4

如果您想发出错误信号，请从您的 python 脚本中返回一个非零代码。您可以将任何日志写入 stderr，hadoop 将在任务日志中捕获该日志。您还可以通过在 stderr 行前加上reporter:status:<msg>or来向报告器和计数器发送状态reporter:counter:<group>,<name>,<increment>

于 2012-06-10T17:16:13.540 回答