hadoop - MapReduce 和 Yarn 的区别

Question

我正在搜索有关散乱问题的 hadoop 和 mapreduce 以及此问题中的论文，
但昨天我发现有带有 Yarn 的 hadoop 2，
不幸的是，没有论文谈论 Yarn 中的散乱问题
所以我想知道两者之间有什么区别MapReduce 和 Yarn 在部分落后者？Yarn 有掉队的问题吗？
而当MRmaster向resource manager索取资源时，resource manager会给MRmaster所有它需要的资源还是根据集群计算能力？
非常感谢，，

Answer 1

Answer 2

您说“MapReduce 和 YARN 之间的差异”。MapReduce 和 YARN 绝对不同。MapReduce 是编程模型，YARN 是分布式集群的架构。Hadoop 2 使用 YARN 进行资源管理。除此之外，hadoop 还支持支持并行处理的编程模型，我们称之为 MapReduce。在 hadoop 2 之前，hadoop 已经支持 MapReduce。简而言之，MapReduce 运行在 YARN 架构之上。对不起，我没有提到落后者问题的一部分。

“什么时候MRmaster向资源经理要资源？” 当用户提交 MapReduce 作业时。MapReduce 工作完成后，资源将恢复为空闲状态。

“资源管理器将为 MRmaster 提供它需要的所有资源，或者根据集群计算能力”我不明白这个问题点。显然，无论集群计算能力如何，资源管理器都会提供它需要的所有资源。集群计算能力会影响处理时间。

Answer 3

MapReduce 1 中没有 YARN。在 MapReduce 中有 Yarn。

Answer 4

如果对于散乱的问题，您的意思是，如果第一个人等待“某事”，然后在依赖于第一个人的道路上导致更多的等待，那么我想在 MR 工作中总是存在这个问题。获得分配的资源自然会与所有其他可能导致组件等待的事情一起参与这个问题。

Tez 应该是 MR 作业运行时的直接替代品，它使事情变得不同。而不是以与当前 MR Appmaster 相同的方式运行任务，而是尝试使用 DAG 的任务，这在不陷入糟糕的落后者问题方面做得更好。

您需要了解 MR 和 YARN 之间的关系。YARN 只是一个虚拟资源调度程序，这意味着它不会调度“任务”。它给 MR Appmaster 的是一个集合或资源（从某种意义上说，它只是内存、cpu 和位置的组合）。然后 MR Appmaster 负责决定如何处理这些资源。