hadoop - 当输入文件小于映射节点时 hadoop 调度程序如何工作

Question

在我的情况下，我需要知道我是否在 Jobcontrol 中有 2 个工作，然后我有 200 个映射节点，我的块大小是 64 MB，所以完整的处理数据应该是（64 * 200 = 12.8GB），但第一个工作大小是 10 GB 如何 hadoop如果地图节点有空槽怎么办？Hadoop将处理队列中的第二个作业或等待第一个作业映射减少完成并处理第二个作业或其他方式请建议

Answer 1

如果您使用 Hadoop 的 FIFO 调度程序并以同一用户身份运行 2 个作业，那么只有在运行第一个作业时有足够的空闲 Map/Reduce 插槽可用时，第二个作业才会开始运行。即使有，调度程序也会优先考虑第一个作业而不是第二个作业。因此，Hadoop 将等待第一个作业完成，然后再安排第二个作业。

通常不建议文件小于输入拆分大小，因为与单个大文件相比，namenode 必须管理更多的文件 inode。