1

我们已经安装了一个 spark-jobserver，它使用 server_start.sh 在 spark 集群上启动，但是无论如何我们都无法让它在多个 worker 上启动。我们可以设法让它在多个内核和更多内存的情况下运行，但不能在多个节点上运行。

我们尝试过的命令如下：

./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g

前两个命令启动并显示一名工作人员使用一个内核和 1GB，而第三个显示一名工作人员使用 4 个内核和 7g。第四个命令显示要使用的 6 个内核，但状态为 SUBMITTED。

我们已经通过使用以下命令启动 spark shell 验证了它确实可以在多个工作人员上启动和应用程序，该命令显示为具有 2 个工作人员和总共 6 个内核的正在运行的驱动程序。

./spark-shell --master spark://IP:PORT --total-executor cores 6

将不胜感激任何帮助。

4

1 回答 1

0

Spark jobserver 实际上是 spark 驱动程序，而不是应用程序本身。我不知道你可以在工人之间分配负载。

于 2016-05-17T05:03:00.923 回答