0

我正在尝试在hadoop（纱线）上运行火花。
当我尝试运行 spark-shell 时，它会导致 ConnectionRefused 异常。日志是这样的：

ERROR cluster.YarnClientSchedulerBackend: The YARN application has already ended! It might have been
killed or the Application Master may have failed to start. Check the YARN application logs for more details.
19/10/22 15:13:36 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Application application_1571690458300_0002 failed 2 times due to
 Error launching appattempt_1571690458300_0002_000002. Got exception: java.net.ConnectException: 
Call From master/x.x.x.x(a correct IP:) ) to ubuntu:43856 failed on connection exception: 
java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop
/ConnectionRefused

但是当我用 yarn 运行 wordcount 示例时，一切正常。（所以纱线没问题，我认为）
正如日志所说，它尝试连接到 ubuntu:43856，我认为它尝试连接到我的一个奴隶
，它应该成为slave1：43856（当我设置工人文件时）。我认为问题就在这里，但
单独运行纱线（没有火花）是可以的。
命令的导出yarn node -list是： 

         Node-Id             Node-State Node-Http-Address       Number-of-Running-Containers
    ubuntu:43856                RUNNING       ubuntu:8042                                  0
    ubuntu:37951                RUNNING       ubuntu:8042                                  0
    ubuntu:34335                RUNNING       ubuntu:8042                                  0
    ubuntu:46500                RUNNING       ubuntu:8042                                  0

有很多配置文件，如果需要一个（或多个）文件，请告诉我。
提前致谢。

4

0 回答 0