2

每当我在 mapr Sandbox 上启动 spark-shell 时,我都会不断收到此错误

ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11

请帮我解决这个错误。

4

4 回答 4

1

我遇到了类似的问题,按照以下步骤解决了:

  1. 使用以下命令重新启动 spark-master:maprcli node services -name spark-master -action restart -filter csvc==spark-master

  2. 启动工作节点:/opt/mapr/spark/spark-1.3.1/sbin/start-slaves.sh

  3. 现在,运行 spark-shell:/opt/mapr/spark/spark-1.3.1/bin/spark-shell

希望这可以帮助 !

于 2015-06-07T02:25:13.227 回答
0

使用hostname命令查找主机名,然后使用命令

bin/spark-shell --master spark://your-host-name:7077

于 2015-05-10T08:36:39.910 回答
0

支持 googlers 到这里的原因是错误日志:当我们尝试在集群外启动 zeppelin 时遇到了同样的问题,我们发现问题是工作程序和驱动程序进程之间没有连接。

底线:打开工作人员和客户端/主节点之间的所有 tcp 端口 - 双向!

于 2017-05-04T05:58:13.643 回答
0

我在设置SPARK_JAVA_OPTS远程调试时遇到了这个问题,但实际上并没有将我的 IDE 调试器连接到 Spark 应用程序。

workers当我在 executors stdout/下查看我的 Spark UI 时,我发现了这一点stderr,并注意到以下内容:

FATAL ERROR in native method: JDWP No transports initialized, jvmtiError=AGENT_ERROR_TRANSPORT_INIT(197)

于 2016-07-25T08:18:19.103 回答