scala - 多节点 spark 集群上的 spark-shell 无法启动远程工作节点上的执行程序

Question

在独立模式下安装了 spark 集群，第一个节点上有 2 个节点，运行 spark master，另一个节点 spark worker。当我尝试使用字数统计代码在工作节点上运行 spark shell 时，它运行良好，但是当我尝试在主节点上运行 spark shell 时，它给出以下输出：

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

不会触发 Executor 来运行作业。即使有工人可以火花大师它给出这样的问题。任何帮助都是appriciated，谢谢

Answer 1

您使用客户端部署模式，因此最好的选择是执行程序节点无法连接到本地计算机上的驱动程序端口。这可能是防火墙问题或广告 IP / 主机名的问题。请确保：

• spark.driver.bindAddress
• spark.driver.host
• spark.driver.port

使用预期值。请参阅Spark 文档的网络部分。

不太可能是缺乏资源。请检查您是否请求的资源不超过工作人员提供的资源。