0

我是 Spark 的新手。我有几个关于 Spark Web UI 的问题:-

  • 我已经看到 Spark 可以为同一个应用程序创建多个作业。它在什么基础上创造就业机会


  • 我了解 Spark 围绕Shuffle 边界为单个作业创建多个阶段。我也知道1每个
    分区都有任务。但是,我已经看到特定作业的特定阶段(例如 Stage1)创建的任务数量少于默认的随机分区值(例如,仅2/2完成)。而且我还看到,同一作业创建
    1500任务(例如1500/1500 已完成)的下一个阶段(阶段 2)超过
    了默认的 shuffle partitions 值。

    那么,Spark 如何确定它应该为任何特定的 Stage 创建多少任务来执行?

任何人都可以帮助我理解上述内容。

4

1 回答 1

0

一个时刻的最大任务数取决于你的核心和执行数,不同的阶段有不同的任务数

于 2020-10-13T10:09:25.583 回答