我在本地集群(1 个 master-2workers/executors)上运行一个 spark 作业。
据我所知,工作的所有阶段都分为任务。每个阶段都有自己的任务集。这个TaskSet的每一个任务都会被调度到本地集群的一个executor上。
我想让 Spark 的 TaskSetManager 在同一个(本地)执行程序上安排一个 TaskSet(单个阶段)的所有任务,但我还没有想出如何做到这一点。
谢谢,吉姆
我在本地集群(1 个 master-2workers/executors)上运行一个 spark 作业。
据我所知,工作的所有阶段都分为任务。每个阶段都有自己的任务集。这个TaskSet的每一个任务都会被调度到本地集群的一个executor上。
我想让 Spark 的 TaskSetManager 在同一个(本地)执行程序上安排一个 TaskSet(单个阶段)的所有任务,但我还没有想出如何做到这一点。
谢谢,吉姆