configuration - Hadoop/Hive 集群。只有一个节点利用率

Question

我有一个小型 hadoop/hive 集群（总共 6 个节点）。使用“hadoop dfsadmin -report”我看到数据节点运行良好且已连接。此外，当我在配置单元表中添加数据时，我可以看到数据分布在整个节点上。（易于检查，随着使用的磁盘空间增加）。

我正在尝试在一张表上创建一些索引。从 jobtracker http 界面，我看到只有一个节点可用。我尝试运行多个查询（我使用 mysql 作为元数据），但它们似乎只在安装了 hive 的节点上运行。

基本上我的问题是如何让 jobtracker 也能利用其他节点。

Answer 1

从您所说的情况来看：
Datanodes 在所有节点上都正常运行，并且能够与 namenode 通信。
任务跟踪器没有在除一个之外的所有节点上运行，或者由于某种原因无法与作业跟踪器通信。
在检查任务跟踪器确实在运行之后 - 阅读他们的日志以找出他们与 JobTracker 通信的问题。