apache-spark - 使用 Spark 或 Flink 时如何在 HDFS 上实现位置感知？

Question

我想知道 Spark 或 Flink 执行引擎（主调度程序）如何为每个块找到合适的工作程序。

namenode 将能够告诉他们块的确切位置，但这项任务是由 Spark 和 Flink 的作业管理器完成的，还是 YARN 发挥作用的东西？

Answer 1

我只能说 Flink。JobManager请求块信息并计算HDFS Namenode块任务分配。首先，将局部块分配给每个TaskManger(TM)。如果 TM 没有任何本地块，则会分配远程块。如果不再有可用的本地块，则所有剩余块均分配给所有 TM（以获得良好的负载平衡）。