0

我使用 Python 和 Thrift 通过 HiveServer2 在分离队列（公平调度程序）中的 Tez 引擎上运行查询。一些查询停止Choosing a session from the defaultQueuePool，但队列为空。

...
15/12/07 12:57:11 INFO ql.Driver: Query ID = hadoop_20151207125711_3060df1a-1eda-4b60-9688-a2fe78573125
15/12/07 12:57:11 INFO ql.Driver: Total jobs = 1
15/12/07 12:57:11 INFO log.PerfLogger: 
15/12/07 12:57:11 INFO log.PerfLogger: 
15/12/07 12:57:11 INFO log.PerfLogger: 
15/12/07 12:57:11 INFO ql.Driver: Launching Job 1 out of 1
15/12/07 12:57:11 INFO ql.Driver: Starting task [Stage-1:MAPRED] in serial mode
15/12/07 12:57:11 INFO tez.TezSessionPoolManager: Choosing a session from the defaultQueuePool

为什么会这样？

4

1 回答 1

0

解决同样的问题。在您现有的会话中，将 tez.queue.name 设置为其他队列，然后重试您的原始命令......在我的情况下它有效。似乎它重新初始化了被阻止的会话池。我仍在尝试重现这一点并尝试一些 cfg 更改

于 2015-12-08T03:34:58.640 回答