hadoop - 色调工作很慢

Question

我正在使用 CLoudera Hadoop 4.8，并且我有一个包含 4 个节点的集群。问题是：如果我使用 Hue 启动 Hive 查询，则需要 5 个小时才能完成。查询是：

select count(*) from table_name

此时 Nodes loadavg 为

Node1 40 -- strongest node
Node2 20 
Node3 20
Node4 20

但是，如果我从 hive 控制台开始相同的查询，它需要大约 30 分钟才能结束。而且loadavg更低！

Node1 12 -- strongest node
Node2 6 
Node3 6
Node4 6

为什么会发生？

系统：

OS: CentOS 6.5
Cloudera 4.8

Answer 1

它是哪个色相版本？

Hue 将 Hive 查询提交给 Beeswax Server 或 HiveServer2，后者将运行它（与从 shell 执行它相同）。您是否在 Beeswax 或 Hue 日志（Hue 中的页面 /logs）中看到任何表明配置错误的内容。您还可以从 Hue 节点（其中有 Beeswax 或 HiveServer2）执行查询，以确保它们都使用相同的配置。