python - 有没有办法从 hadoop 流中的 python 脚本中获取信息错误？

Question

我正在使用 python 和 hadoop 流。尽管进行了仔细的单元测试，错误还是不可避免地蔓延开来。当它们发生时，这个错误消息就是 hadoop 给出的全部：

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)
...

该消息对调试非常无益。

有没有办法从 hadoop 流中的 python 脚本中获取信息错误？

Answer 1

如果您有权访问正在运行的集群的作业跟踪器，则可以通过查找作业并查找失败的任务来访问脚本的 stderr/stdout。