1

我已经启动了 Spark master 和 worker，并且可以轻松地在 HDFS 上运行 MapReduce，如 wordcount。

现在我想在 textstream 上运行一个流，当我想创建一个新的 StreamingContext 时，我遇到了这个错误：

scala> val ssc = new StreamingContext("spark://master:7077","test", Seconds(2))
13/07/17 11:13:45 INFO slf4j.Slf4jEventHandler: Slf4jEventHandler started
org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.2.105:48594
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:298)
....

我检查了端口，Java 使用了它。我终止了这个过程，然后我退出了 Spark-shell。

有什么办法可以将 StreamingContext 的端口更改为随机的空闲端口？

4

1 回答 1

1

Java 是 spark 的底层进程（scala 在 jvm 上运行）。您可能正在运行多个 spark /spark 流的副本。你能调查一下吗？

具体来说：如果我已经运行了 spark-shell，我会得到相同的结果。

您可以检查其他火花过程：

ps -ef | grep spark | -v grep
于 2014-02-12T17:10:04.817 回答