4

我想在 Hive-Tez 上运行查询后获得 Map-Reduce 日志的解释？INFO: 之后的行传达了什么？在这里我附上了一个样本

INFO  : Session is already open
INFO  : Dag name: SELECT a.Model...)
INFO  : Tez session was closed. Reopening...
INFO  : Session re-established.
INFO  : 
INFO  : Status: Running (Executing on YARN cluster with App id application_14708112341234_1234)

INFO  : Map 1: -/-  Map 3: -/-  Map 4: -/-  Map 7: -/-  Reducer 2: 0/15     Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: -/-  Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26  Reducer 6: 0/13
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0(+5)/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+5)/118    Map 4: 0(+7)/118    Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+15)/118   Map 4: 0(+18)/118   Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
4

1 回答 1

8

您发布的日志是 DAG 执行日志。DAG由Map 1、Map 3、Map 4、Map 7映射器顶点和reducer组成：Reducer 2、Reducer 5、Reducer 6

Map 1: -/-- 这意味着顶点尚未初始化，映射器的数量尚未计算。

Map 4: 0(+7)/118- 这意味着总共有 118 个映射器，其中 7 个并行运行，0 个已完成，118-7=111 个待处理。

Reducer 2: 0/15- 这意味着总共有 15 个减速器，其中 0 个正在运行，其中 0 个已完成（15 个减速器待处理）。

负数（在您的示例中没有这样的数字）= 失败或被杀死的映射器或减速器的数量

Qubole 对 Tez 日志有解释：https ://docs.qubole.com/en/latest/user-guide/hive/using-hive-on-tez/hive-tez-tuning.html#understanding-log-pane

于 2016-08-25T11:53:51.910 回答