我正在尝试在总共有 3 个节点的 spark 独立集群上运行 spark 应用程序。
集群上有 3 名工作人员,一个节点中有 4 GB 内存,其余 8 GB 内存。
我正在执行具有不同内核(如 2、3、4、5)的相同应用程序,但执行应用程序的执行时间仍然相同
我正在使用 sparkclr-submit 将应用程序传递给集群
谁能告诉我为什么会这样?
这是 sparkUI 的图像
谢谢。
我正在尝试在总共有 3 个节点的 spark 独立集群上运行 spark 应用程序。
集群上有 3 名工作人员,一个节点中有 4 GB 内存,其余 8 GB 内存。
我正在执行具有不同内核(如 2、3、4、5)的相同应用程序,但执行应用程序的执行时间仍然相同
我正在使用 sparkclr-submit 将应用程序传递给集群
谁能告诉我为什么会这样?
这是 sparkUI 的图像
谢谢。