java - 无法解析主 URL：'spark:http://localhost:18080'

Question

当我尝试运行我的代码时，它会抛出这个Exception：

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL:spark:http://localhost:18080

这是我的代码：

SparkConf conf = new SparkConf().setAppName("App_Name").setMaster("spark:http://localhost:18080").set("spark.ui.port","18080");
JavaStreamingContext ssc = new JavaStreamingContext(sc, new Duration(1000));
String[] filet=new String[]{"Obama","ISI"};

JavaReceiverInputDStream<Status> reciverStream=TwitterUtils.createStream(ssc,filet);
JavaDStream<String> statuses = reciverStream.map(new Function<Status, String>() {
     public String call(Status status) { return status.getText(); }
     }
      );
ssc.start();
ssc.awaitTermination();}}

知道如何解决这个问题吗？

Answer 1

问题是您在传递给的 URL 中指定了 2 个模式SparkConf.setMaster()。

是spark架构，所以你不需要http在spark. SparkConf.setMaster()有关更多示例，请参阅的 javadoc 。

因此，您应该使用的主 URL 是"spark://localhost:18080". 更改此行：

SparkConf conf = new SparkConf().setAppName("App_Name")
    .setMaster("spark://localhost:18080").set("spark.ui.port","18080");

Answer 2

master的标准端口是7077而不是18080。也许你可以试试7077。