每当我在 mapr Sandbox 上启动 spark-shell 时,我都会不断收到此错误
ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11
请帮我解决这个错误。
每当我在 mapr Sandbox 上启动 spark-shell 时,我都会不断收到此错误
ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11
请帮我解决这个错误。
我遇到了类似的问题,按照以下步骤解决了:
使用以下命令重新启动 spark-master:maprcli node services -name spark-master -action restart -filter csvc==spark-master
启动工作节点:/opt/mapr/spark/spark-1.3.1/sbin/start-slaves.sh
现在,运行 spark-shell:/opt/mapr/spark/spark-1.3.1/bin/spark-shell
希望这可以帮助 !
使用hostname
命令查找主机名,然后使用命令
bin/spark-shell --master spark://your-host-name:7077
支持 googlers 到这里的原因是错误日志:当我们尝试在集群外启动 zeppelin 时遇到了同样的问题,我们发现问题是工作程序和驱动程序进程之间没有连接。
底线:打开工作人员和客户端/主节点之间的所有 tcp 端口 - 双向!
我在设置SPARK_JAVA_OPTS
远程调试时遇到了这个问题,但实际上并没有将我的 IDE 调试器连接到 Spark 应用程序。
workers
当我在 executors stdout
/下查看我的 Spark UI 时,我发现了这一点stderr
,并注意到以下内容:
FATAL ERROR in native method: JDWP No transports initialized, jvmtiError=AGENT_ERROR_TRANSPORT_INIT(197)