0

我想运行一个简单的火花程序,但我受到一些错误的限制。我的环境是:CentOS:6.6 Java:1.7.0_51 Scala:2.10.4 Spark:spark-1.4.0-bin-hadoop2.6 Mesos:0.22.1

全部安装完毕,节点启动。现在我有一个 Mesos 主节点和一个 Mesos 从节点。我的火花属性如下:

spark.app.id            20150624-185838-2885789888-5050-1291-0005
spark.app.name          Spark shell
spark.driver.host   192.168.1.172
spark.driver.memory 512m
spark.driver.port   46428
spark.executor.id   driver
spark.executor.memory   512m
spark.executor.uri  http://192.168.1.172:8080/spark-1.4.0-bin-hadoop2.6.tgz
spark.externalBlockStore.folderName spark-91aafe3b-01a8-4c86-ac3b-999e278807c5
spark.fileserver.uri    http://192.168.1.172:51240
spark.jars  
spark.master            mesos://zk://192.168.1.172:2181/mesos
spark.mesos.coarse  true
spark.repl.class.uri    http://192.168.1.172:51600
spark.scheduler.mode    FIFO

现在,当我启动 spark 时,涉及到 scala prompt(scala>)。之后我收到以下错误:mesos 任务 1 现在是 TASK_FAILED,由于失败太多而将 mesos 从属值列入黑名单是安装了 Spark 如何解决这个问题。

4

2 回答 2

1

只有 900MB 和spark.driver.memory = 512m,您将能够启动调度程序/REPL,但您将没有足够的内存用于spark.executor.memory = 512m,因此任何任务都会失败。增加 VM 内存大小或减少驱动程序/执行程序内存要求将帮助您绕过这些内存限制。

于 2015-06-30T08:19:31.233 回答
0

您能否检查 mesos 从属日志/任务信息以获取有关任务失败原因的更多输出。你可以看看:5050。

可能不相关的问题:你真的有动物园管理员吗:

spark.master mesos://zk://192.168.1.172:2181/mesos

正在运行(正如你提到的,你只有一个主人)?

于 2015-06-25T06:03:56.020 回答