0

我想运行一个简单的火花程序，但我受到一些错误的限制。我的环境是：CentOS：6.6 Java：1.7.0_51 Scala：2.10.4 Spark：spark-1.4.0-bin-hadoop2.6 Mesos：0.22.1

全部安装完毕，节点启动。现在我有一个 Mesos 主节点和一个 Mesos 从节点。我的火花属性如下：

spark.app.id            20150624-185838-2885789888-5050-1291-0005
spark.app.name          Spark shell
spark.driver.host   192.168.1.172
spark.driver.memory 512m
spark.driver.port   46428
spark.executor.id   driver
spark.executor.memory   512m
spark.executor.uri  http://192.168.1.172:8080/spark-1.4.0-bin-hadoop2.6.tgz
spark.externalBlockStore.folderName spark-91aafe3b-01a8-4c86-ac3b-999e278807c5
spark.fileserver.uri    http://192.168.1.172:51240
spark.jars  
spark.master            mesos://zk://192.168.1.172:2181/mesos
spark.mesos.coarse  true
spark.repl.class.uri    http://192.168.1.172:51600
spark.scheduler.mode    FIFO

现在，当我启动 spark 时，涉及到 scala prompt(scala>)。之后我收到以下错误：mesos 任务 1 现在是 TASK_FAILED，由于失败太多而将 mesos 从属值列入黑名单是安装了 Spark 如何解决这个问题。

4

2 回答 2

1

只有 900MB 和spark.driver.memory = 512m，您将能够启动调度程序/REPL，但您将没有足够的内存用于spark.executor.memory = 512m，因此任何任务都会失败。增加 VM 内存大小或减少驱动程序/执行程序内存要求将帮助您绕过这些内存限制。

于 2015-06-30T08:19:31.233 回答
0

您能否检查 mesos 从属日志/任务信息以获取有关任务失败原因的更多输出。你可以看看：5050。

可能不相关的问题：你真的有动物园管理员吗：

spark.master mesos://zk://192.168.1.172:2181/mesos

正在运行（正如你提到的，你只有一个主人）？

于 2015-06-25T06:03:56.020 回答