1

我试图了解资源分配是如何在火花中发生的。我了解 taskScheduler 中的 resourceOffer 方法。此方法在分配资源时会考虑局部性因素。此 resourceOffer 方法由相应的集群管理器调用。

我正在研究独立的火花簇。但我无法找到资源分配的起点。考虑到 Spark 的新应用程序,我想从头到尾了解资源分配究竟是如何发生的。此外,除了 mesos,Scheduler 中还有一个名为 Local 的文件夹。有人可以告诉我应该查看哪些所有文件以了解独立 Spark 集群中的资源分配以及这个“本地”是什么?

提前致谢!!卡提克。

4

0 回答 0