1

我想为 hadoop mapreduce 编写一个第 3 方前端,它需要查询 mapreduce 的一些信息和统计信息。

现在,我可以使用hadoop job计数器来查询作业和地图并降低完成百分比,例如:

# hadoop job -status job_201212170023_0127

Job: job_201212170023_0127
map() completion: 0.6342382
reduce() completion: 0.0

Counters: 28
    Job Counters 
        SLOTS_MILLIS_MAPS=4537
...

我还想要的是工作跟踪器中的可视化所使用的每个任务的数量,即:

工作跟踪图表

我能够列出所有映射器...

# hadoop job -list-attempt-ids job_201212170023_0127 map running
attempt_201212170023_0127_m_000000_0
attempt_201212170023_0127_m_000001_0
attempt_201212170023_0127_m_000002_0
...

..但是我将如何获得这些任务的百分比?理想情况下,我想要这样的东西:

# hadoop job -task-status attempt_201212170023_0127_m_000000_0
completion: 0.6342382
start: 2012-12-18T12:23:34Z
... etc.

当前的解决方案是抓取 Web 界面,但如果完全可以使用命令行输出,我不喜欢这个。

4

0 回答 0