我是 Spark 的新手。我有几个关于 Spark Web UI 的问题:-
我已经看到 Spark 可以为同一个应用程序创建多个作业。它在什么基础上创造就业机会?
我了解 Spark 围绕Shuffle 边界为单个作业创建多个阶段。我也知道1
每个
分区都有任务。但是,我已经看到特定作业的特定阶段(例如 Stage1)创建的任务数量少于默认的随机分区值(例如,仅2/2
完成)。而且我还看到,同一作业创建
1500
任务(例如1500/1500
已完成)的下一个阶段(阶段 2)超过
了默认的 shuffle partitions 值。那么,Spark 如何确定它应该为任何特定的 Stage 创建多少任务来执行?
任何人都可以帮助我理解上述内容。