python - hadoop 流：如何查看应用程序日志？

Question

我可以在我的/usr/local/hadoop/logs路径 上看到所有 hadoop 日志

但是我在哪里可以看到应用程序级别的日志？例如 ：

映射器.py

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement  

减速器.py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

我在哪里可以看到logging.info我的应用程序的相关日志语句？
我正在使用Python和使用hadoop-streaming

谢谢

Answer 1

Hadoop收集stderr，可以在hadoop map/reduce status site上查看。所以你可以写到stderr。

Answer 2

Hadoop 流使用STDIN/STDOUT在映射器和化简器之间传递键/值对，因此必须将日志消息写入特定的日志文件 - 查看示例代码和python 日志记录文档以获取更多详细信息。这个查询也可能有帮助。