hadoop - Hadoop调度程序保留数据局部性

Question

我检查了几个文档，但我对 Hadoop 中保留数据局部性的任务调度有疑问。假设任务的输入数据t是D1并且复制因子是 3（这意味着我有 3 个 D1 副本存储在 3 个不同的服务器上）现在到达时，将分配t哪个严重者？t（考虑默认调度程序）。

Answer 1

Hadoop 将尝试使用所有可用的映射器插槽。如果它有办法分配任务保留数据的局部性，那么它将这样做（也就是说，如果包含 D1 副本的这 3 个服务器之一具有可用的映射器插槽，它将尝试将其放在该服务器上）。如果这 3 个服务器上的所有映射器都被占用，但还有另一台服务器具有可用的映射器插槽，则任务将放置在该映射器上。