Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我有一个关于 Hive 查询执行的问题。
假设我有一个查询:
从 id > 5 的表中选择 *;
现在这个查询被转换成一棵树,然后分割成更小的任务并分发到具有该特定数据的数据节点。
现在当查询被分发时,整个查询是否被分发到所有拥有数据的节点?还是它只向节点发送部分查询?
如果将整个查询发送到所有节点,数据节点将只处理部分查询还是整个查询?
如果是上面的情况,那么数据节点processi有什么用?
Hive 根据您提交的查询生成一个 MapReduce 作业或多个 MapReduce 作业。MapReduce 作业然后由 Hadoop JobTracker 根据 Hadoop 用于分配 MapReduce 作业任务的算法进行分配。
希望这可以帮助。